이제 S3 인벤토리에 대해 다뤄보겠습니다
S3 인벤토리 작업을 사용하면
S3 버킷에 있는
모든 객체와 해당 메타데이터를 나열할 수 있습니다
이는 S3 List API 작업을 사용해 모든 객체를 나열하고
관련된 모든 메타데이터를
가져오는 것보다 더 나은 방법입니다
따라서 S3 인벤토리의 일부 사용 예시에는
Audit을 생성하고 모든 객체의 복제 및
암호화 상태에 대한 보고서가 포함됩니다
따라서 이를 사용하면 예를 들어
암호화 되지 않은 객체를 식별할 수 있습니다
S3 버킷에서 객체의 수를 가져오거나
모든 이전 객체 버전의
총 스토리지를 식별할 수 있습니다
S3 인벤토리가 모든 객체 버전을 나열할 수 있기 때문입니다
그래서 출력 파일은 CSV, ORX 그리고 Apache Parquet 입니다
그리고 이 인벤토리는
매일 또는 매주 생성될 수 있습니다
모든 데이터는 유명한 도구를 사용해 쿼리 할 수 있는데
AWS에 있는 Amazon Athena, Redshift, Presto,
Hive, 그리고 Spark가 있고 AWS 내에 있지 않고
외부에서 올 수 있는 Presto와 Hive도 포함합니다
그리고 S3 Select를 사용해 필터링된 보고서를 생성하고
해당 보고서를 S3 배치 r기능에 사용할 수 있습니다
인벤토리 사용 사례는 비즈니스,
규정 준수 및 규제 요구사항 등이 될 것입니다
이제 직접 어떻게 작동하는지 살펴보겠습니다
인벤토리를 설정하고 이를 위해
버킷을 생성하고 그 이름을
s3-inventory-stephane-demo로
하겠습니다
그리고 이제 Create bucket을 누르겠습니다
이제 제 버킷이 생성되었고 세부사항을 볼 수 있습니다
그리고 이제 인벤토리를 설정해야 합니다
제 또 다른 버킷에 말이죠
제 버킷 하나를 골랐습니다
demo-stephane-s3-bucket-2020이고 몇몇 데이터가 있습니다
저한테는 그게 제일 중요합니다
Management를 클릭 후 스크롤을 내려보면
가장 밑에 인벤토리 구성이 있습니다
바로 여기서 인벤토리 구성을 생성할 수 있습니다
Demoinventory라고 부르겠습니다
프리픽스를 설정할 수 있습니다
SQL 프리픽스에 적용하고 싶다면 말이죠 하지만 하지 않겠습니다
여기에 현재 버전만 포함되어 있지만
원하는 경우 모든 객체 버전을 포함할 수 있습니다
그런 다음 보고서 세부정보가 이 계정에 들어가고
대상을 지정해야 합니다
이제 제 s3-inventory-stephane-demo로 가보면
제가 아까 생성한 인벤토리입니다
대상 버킷 정책에
다음 명령문을 추가할 것인데
Amazon S3가 해당 버킷에 데이터를 배치할 수 있도록 말입니다
여기 적용될 버킷 정책이 있습니다
그러면 빈도는 어느정도로 하고 싶으신가요?
매일을 선택하면 첫 보고서는
출력 형식 뿐만 아니라 48시간이나 매주 이내에 전달되므로
CSV 또는 ORC 또는 Parquet이 있고
CSV는 여러분이 선택하셔야 하는 형식입니다
만약 여러분이 S3 배치 작업을 사용할 계획이거나
엑셀을 이용해 S3 인벤토리를 분석하고 싶다면 말입니다
그리고 여러분이 만약 RSV와 Parquet을 사용한다면, 예를 들어
Athena와 같은 도구를 사용해 분석할 수 있습니다
그래서 이 구성은 활성화가 될 것이고
CSV를 선택하도록 하겠습니다
서버측 암호화를 원하든 말든 말입니다 이제 비활성화 하고
그리고 만약 보고서에 추가적인 필드를 원한다면
Size, Last modified, Storage class, Etag,
Multipiart upload, Replication status, Encryption,
Bucket key status, Intelligent-Tiering,
그리고 All Object Lock configuration이 있습니다
좋습니다
이 버킷은 eu-west-1 리전에서 발견되지 않았기 때문에
버킷을 재생성해야 하지만
현재 있는 같은 리전에 해야합니다
이제 시작해보겠습니다
이제 이걸 가지고
제 인벤토리 버킷을 말이죠
오류가 있는 것도 항상 좋습니다
이렇게 영상으로 저장해둡니다
이제 삭제를 하고
보시다시피 그 인벤토리가
같은 리전에서 생성되어야 한다는 것을 알 수 있습니다
그래서 이번에는 eu-west-1에 재생성하겠습니다
그리고 Create bucket을 누르겠습니다
지금은 작동을 하지 않는데
왜냐하면 기존 버킷이 삭제되었기 때문입니다
그래서 잠시 멈추고 demo-2로 재명명 하겠습니다
이제 잘 작동될 것입니다
제 버킷이 이제 생성됐고
여기에 demo-2를 추가하면
정상적으로 작동할 것입니다
Create 버튼을 누르면
이제 제 인벤토리 구성이 생성되었습니다
이제 이 인벤토리가 활성화되기를
잠시 기다릴텐데
약 48시간이 걸릴 것입니다
그러니 48시간 후에 여러분들을 뵙겠습니다
이제 며칠 인벤토리를 내버려뒀습니다
Demoinventory 버킷으로 가보시면
폴더가 매일 생성된 것을 볼 수 있습니다
그래서 아무 생성일이나 선택을 해보면
manifest.checksum과 manifest.json이 보일 것입니다
그리고 여기에는 데이터 자체에 대한 메타데이터가 있습니다
그래서 manifest.json 파일을 다운로드 하면
manifest.json 파일은
원본 버킷, 대상 버킷, 매니페스트 파일 버전,
파일 포맷, 즉 CSV와 파일 스키마가
표시될 것입니다
따라서 제 CSV 파일에 속하는 모든 열과
이 매니페스트에 해당되는 파일이 포함됩니다
보시다시피 파일 하나가 포함되어 있습니다
이 demo-stephane-s3-bucket-2020/DemoInventory/data/와
그리고 여기 있는 이 키입니다
이제 그 파일을 찾아보도록 하겠습니다
제 폴더로 다시 돌아와 Demoinventory로 돌아가서
스크롤을 내리고 데이터를 찾겠습니다
여기에서 매일 해당하는 모든 파일을
찾았습니다
그래서 이 7월 4일 파일
이 파일을 선택하겠습니다
하지만 모두 동일해야 하는데 왜냐하면 제 버킷 콘텐츠가
변경되지 않았기 때문입니다
그리고 이 파일을 저장하고 추출할 것입니다
그래서 만약 CSV 파일의 내용을 살펴보면
첫 번째 열이 버킷 이름에 해당하는 것을 찾을 수 있습니다
두 번째 열은 포함되어 있는 파일에 해당하고
세 번째 열은 파일 이름의 버전 ID에
해당합니다
그런 다음 암호화에 관한 몇 가지
TRUE, FALSE정보, 몇몇 파일 사이즈, 날짜 등등을 알게 될 것입니다
그리고 마지막 열은
여기 있는 암호화 유형을 나타냅니다
따라서 이 파일에는 모든 S3 파일에 대한
모든 메타데이터가 포함되어 있고 매우 유용합니다
목록을 원하거나
암호화 상태 등을 알고 싶다면 말입니다
그리고 직접 다 해보셨으면
Management로 이동해
인벤토리 구성을 삭제하거나 비활성화하십시오
그렇지 않으면 매일 계속 실행될 것이기 때문입니다
이번 강의는 여기까지입니다
마음에 드는 강의였으면 좋겠습니다
다음 강의에서 뵙겠습니다