[AWS] S3

S3

• AWS S3는 Simple Storage Service의 약자로, AWS 서비스에서 지원하는 스토리지 서비스
• 기본 99.9%부터 99.9999999%까지의 데이터 보존율 보장
• AWS 내 다양한 서비스들과 연계가 가능하다.
  • Amazon Athena, QuickSight와 활용하면 S3 내 데이터 분석 가능
  • Cloudfront와 연계하면 스토리지 내에서 배포하는 url의 보안 및 속도 향상

 

AWS의 모든 region과 availability zone에 걸쳐 고유한 이름을 지녀야 하며, 적절한 권한과 정책 설정을 통해 보안에도 신경써야 한다.

 

storage class

• Standard
• Infrequent Access (IA)
• Glacier
• etc.

 

S3는 평상 시 사용하는 standard 버전부터 비정기적으로 가끔 사용되는 자료들을 위한 Infrequent Access(IA), 반년 ~ 몇 십년 단위까지의 안전한 데이터 저장을 보장하는 Glacier 등 활용 기간과 접촉 주기에 따라 세분화된 storage class 체계를 제공한다. AWS Lifecycle Rule을 사용하면 S3에 저장된 데이터에 대해 일정 시기가 지날 때마다 해당하는 item의 class를 지정한 storage class로 전환할 수 있다.

 

standard에서 Glacier 클래스로 갈 수록 일반적인 GET / 요청 및 데이터 복구에 걸리는 시간이 점점 늘어난다.

 

Event Notification, Batch Operation, Inventory

• Event Notification : S3에 저장된 데이터에 대한 저장, 수정 등의 이벤트를 탐지하여 이를 통지하는 서비스
• Batch Operation : S3 내 특정 데이터 집단에 대한 집합적인 연산 작업이 필요한 경우 사용
• Inventory : 데이터 복제 및 객체의 암호화 상태를 감사/보고하고, buisiness workflow와 빅 데이터 작업 개선에 사용

 

Multipart Upload

100 MB 이상의 객체를 S3에 upload하려는 경우, 그 크기로 인해 지연이 발생할 수 있다. S3의 Multipart upload 기능은 저장하고자 하는 대용량 객체를 한 번에 처리 가능한 크기로 분할하여 차근차근 정리하는 것으로, S3 데이터 처리량을 향상시킬 수 있다.

 

Athena, QuickSight

Amazon Athena는 S3 storage 내 저장된 객체들에 대해 쿼리 문을 적용하여 원하는 자료를 추출하거나 데이터 분석을 시행할 수 있으며, Amazon QuickSight는 그 결과를 표시한는 보고서 서비스이다.