[AWS] Advanced Storage

AWS SnowFamily

AWS SnowFamily는 On-premise 서버에서 AWS 클라우드로 데이터를 안전하고 효율적으로 이전할 수 있는 물리적 장치를 제공하는 서비스다. 주로 대규모 Data Migration 및 클라우드 서버에 대한 접근이 제한된 환경에서의 Edge Computing을 지원한다. 이는 아래의 세 가지 주요 유형으로 구분된다.

 

• AWS Snowcone : 작은 규모의 데이터 이전을 지원하며, 8~14 TB의 저장 용량을 제공한다.
• AWS Snowball : 중간 규모의 데이터 이전을 지원하며, 일반적으로 80~210 TB, 최대 PB 규모의 데이터를 처리한다.
• AWS Snowmobile : 대규모 데이터 이전을 지원하며, XB(= 1,000 PB) 규모의 데이터를 이동할 수 있다. 

---

AWS FSx

AWS FSx는 고성능 파일 시스템을 필요로 하는 애플리케이션을 위해 설계된 완전 관리형 파일 시스템 서비스다. 여러 파일 시스템 옵션이 있으며, 사용 사례에 따라 아래의 2가지를 선택할 수 있다.

 

• AWS FSx for Windows File Server : Windows 기반 애플리케이션을 위한 Native Microsoft Windows 파일 시스템 제공
• AWS FSx for Lustre : 고성능 컴퓨팅(HPC) 및 머신 러닝 워크로드를 위한 파일 시스템 제공

 

그리고 두 가지 배포 옵션이 존재한다. 

• Scratch File System : 단기 워크로드에 적합하며, 데이터 복제 기능이 없다.
• Persistent File System : 장기 사용 및 데이터 복제를 지원하며, 안정적인 성능을 제공한다.

워크로드(Workload)는 IT 환경에서 실행되는 다양한 작업이나 애플리케이션을 의미하며, 각 워크로드는 특정한 요구사항과 특성을 가지고 있다.

고성능 컴퓨팅(High-Performance Computing, HPC)은 복잡한 계산 문제를 빠르고 효율적으로 해결하기 위해 설계된 고성능 컴퓨팅 시스템을 사용하는 기술이다. 대규모 병렬 처리를 통해 대량의 데이터를 동시에 처리할 수 있는 능력을 갖춰 과학 연구, 금융 모델링, 기상 예측, 엔지니어링 시뮬레이션 등 다양한 분야에서 적극 사용되고 있다. 여기에는 슈퍼컴퓨터와 대규모 컴퓨터 클러스터가 포함된다.

 

HPC의 주요 구성 요소

 1. 컴퓨팅 노드

    - 프로세서(CPU) : 다수의 코어를 갖춘 고성능 프로세서로, 병렬 처리를 통해 작업을 분산 수행한다.

    - 가속기 (GPU) : 그래픽 처리 장치로, 대량의 데이터 병렬 처리를 지원하여 계산 속도를 크게 향상시킨다.

 2. 네트워킹

    - 고속 네트워크 : 컴퓨팅 노드 간의 빠른 데이터 전송을 위해 InfiniBand 같은 고속 네트워크 기술이 사용된다.

    - 저지연 네트워크 : 데이터 전송 지연을 최소화하여 전체 시스템 성능을 최적화한다.

 3. 스토리지

    - 병렬 파일 시스템 : Lustre, GPFS 등 대규모 데이터 집합을 빠르게 읽고 쓸  수 있는 파일 시스템이 사용된다.

    - 고성능 스토리지 장치 : SSD 등 고속 저장 장치를 사용하여 데이터 입출력 속도를 높인다.

 4. 소프트웨어

    - 병렬 처리 라이브러리 : MPI, OpenMP 등 병렬 처리 프로그래밍을 지원하는 라이브러리 사용

    - HPC 애플리케이션 : 과학 계산, 데이터 분석을 위한 특화된 소프트웨어 사용

 

HPC의 발전 동향

1. 엑사스케일 컴퓨팅
   • 초당 10^18(엑사) 연산을 수행할 수 있는 엑사스케일 컴퓨터의 개발이 진행 중이다.
2. 클라우드 기반 HPC
   • AWS, Google Cloud, Microsoft Azure 등에서 제공하는 클라우드 기반 HPC 서비스가 증가하고 있습니다. 이는 비용 효율적이며 유연한 HPC 자원 접근을 가능하게 한다.
3. HPC와 AI의 통합
   • HPC 기술과 인공지능(AI)의 융합으로 더욱 정교한 분석과 예측이 가능해지고 있다.

 

---

AWS Storage Gateway

AWS Storage Gateway는 On-premise와 AWS 클라우드 간의 hybrid storage 서비스를 제공하여 데이터 백업, 재해 복구 (DR), caching 기능을 지원한다. AWS Storage Gateway는 아래의 3가지 유형으로 구분된다.

1. File Gateway
   • 네트워크 파일 시스템 (NFS) 또는 서버 메시지 블록 (SMB) 프로토콜을 통해 On-premise application이 Amazon S3에 데이터를 저장 가능하게 만든다.
   • 최근 사용한 데이터를 caching하고, 수명 주기 정책을 적용하여 내부 데이터를 계층화할 수 있다.
2. Volumn Gateway
   • 블록 스토리지로서, iSCSI 프로토콜을 사용하여 On-premise application이 Amazon EBS snapshot을 통해 클라우드에서 백업 및 복구할 수 있도록 만든다.
3. Tape Gateway
   • 기존 백업 application이 기존 테이프 백업 인프라를 사용하여 Amazon S3 및 Glacier로 백업 데이터를 저장할 수 있도록 iSCSI 프로토콜과 호환된다.

Server Message Block(SMB)는 네트워크 파일 공유 프로토콜로, 네트워크 상의 컴퓨터 간에 파일, 프린터, 직렬 포트, 그리고 기타 리소스를 공유하는 데 사용된다. 주로 Windows 운영체제에서 흔히 사용되며, SMB 프로토콜은 파일 공유, 네트워크 탐색, 네트워크 프린터 접근 등의 기능을 제공한다.

 

SMB의 주요 기능

1. 파일 및 프린터 공유 : 네트워크 상의 여러 컴퓨터가 파일과 프린터를 공유 가능하도록 돕는다.
2. 네트워크 탐색 : 네트워크에 연결된 장치와 리소스를 탐색하고 접근할 수 있도록 돕는다.
3. 파일 잠금 및 동기화 : 여러 사용자가 동일한 파일에 접근 시, 데이터 손실을 방지하는 파일 잠금 및 동기화 기능.
4. 보안 : SMB 3.0 이상에서는 데이터 전송 암호화, 통합 인증, 권한 관리 등의 보안 기능 제공.
5. 투명한 장애 조치 : 파일 서버의 장애 시 클라이언트의 중단 없는 작업을 지원.

 

정리하면, SMB는 네트워크 파일 및 프린터 공유를 위한 중요한 프로토콜로, 특히 Windows 환경에서 널리 사용된다. 최신 버전의 SMB를 사용하고 보안 설정을 강화하여 안전하고 효율적인 네트워크 리소스 공유를 할 수 있다