[아이티비즈 김문구 기자] 아마존웹서비스(AWS)는 2일 AWS 리인벤트(AWS re:Invent) 행사에서 고객에게 향상된 스토리지 성능, 복원성 및 가치를 제공하는 4가지 스토리지 혁신을 발표했다.
①아마존 EBS io2 블록 익스프레스(Amazon EBS io2 Block Express) 볼륨
차세대 스토리지 서버 아키텍처는 클라우드용으로 구축된 SAN을 최초로 제공하며, 최대 256,000 IOPS, 초당 최대 4,000MB 처리량, 최대 64TB 용량(표준 io2 볼륨 대비 모든 메트릭에서 4배 향상)으로, 가장 I/O 집약적인 비즈니스 크리티컬 애플리케이션의 성능 요구사항을 충족한다(프리뷰 신청을 통해 이용 가능).
②아마존 EBS Gp3(Amazon EBS Gp3) 볼륨
아마존 EBS용 차세대 범용 SSD 볼륨은 스토리지를 추가할 필요 없이 추가 IOPS와 처리량을 프로비저닝할 수 있는 유연성을 제공하는 동시에, 3,000 IOPS 및 초당 125MB 처리량으로 높아진 기본 성능 뿐 아니라 최대 16,000 IOPS 및 초당 1,000MB의 피크 처리량(Gp2 볼륨 대비 4배 향상)을 기존 Gp2 볼륨보다 스토리지 GB당 20% 저렴한 가격으로 프로비저닝할 수 있는 기능을 제공한다(현재 이용 가능).
③아마존 S3 인텔리전트 티어링(Amazon S3 Intelligent-Tiering) 자동 데이터 아카이빙
2가지 새로운 티어인 아카이브 액세스(Archive Access)와 딥 아카이브 액세스(Deep Archive Access)를 통해 고객은 사용하지 않는 객체를 아카이브 액세스 티어로 자동 이동함으로써 거의 액세스하지 않는 객체 스토리지 비용을 최대 95%까지 절감할 수 있다(현재 이용 가능).
④아마존 S3 레플리케이션(Amazon S3 Replication)
동일한 AWS 리전의 여러 S3 버킷에 데이터를 복제하여 리전 간 콘텐츠를 배포, 컴플라이언스 및 데이터 공유 니즈를 보다 효과적으로 관리할 수 있는 새로운 기능이 고객에 제공된다(현재 이용 가능).
마이란 톰슨 뷰코벡 AWS스토리지 부문 부사장은 "지난 30년간 생성된 데이터보다 향후 3년 안에 더 많은 데이터가 생성될 것"이라며 "클라우드는 개발자와 기업이 이렇게 많은 데이터를 생성하고 보존하는 데 큰 역할을 하며, 데이터 스토리지는 재창조가 필요한 상황이다. 오늘 발표한 스토리지 혁신은 클라우드를 위한 새로운 SAN을 구축하고, 고객의 방대한 데이터를 자동으로 티어링하여 자주 액세스하지 않는 데이터에 대한 비용을 절감하며, 필요에 따라 전 세계 어디든지 데이터를 쉽게 복제하고 이동함으로써 고객이 이러한 뉴노멀을 보다 효과적으로 관리할 수 있게 돕는다”고 말했다.
잘란도는 3,500만 명 이상의 활성 고객을 보유한 유럽을 대표하는 패션 및 라이프스타일 온라인 플랫폼이다. 잘란도 리드 데이터 엔지니어 맥스 슐체는 "아마존 S3에 15PB의 데이터 레이크를 구축해 직원들이 이전에는 접근하지 못했을 과거의 판매 및 웹 추적 데이터를 작업하고 분석할 수 있게 됐다. 프리퀀트 액세스 티어와 인프리퀀트 액세스 티어 간에 객체를 자동으로 이동시키는 S3 지능형 티어를 사용하여 데이터 레이크에 대한 연간 스토리지 비용의 37%를 절감할 수 있었다. 새로운 S3 지능형 티어 아카이브 액세스를 통해 장기간 액세스되지 않는 객체에 대해 비용을 추가 절감할 수 있을 것으로 기대한다”고 전했다.
◇최초로 클라우드용으로 구축된 SAN 제공하는 EBS io2 블록 익스프레스 볼륨
고객이 SAP HANA, 마이크로소프트 SQL 서버, IBM DB2, MySQL, PostgreSQL, 오라클 데이터베이스와 같은 중요한 성능 집약적 애플리케이션을 실행하기 위해 io2 볼륨(최신 세대 프로비저닝된 IOPS 볼륨)을 선택하는 이유는 99.999%(파이브 나인)의 내구성과 범용 EBS 볼륨 대비 4배 높은 IOPS를 제공하기 때문이다. 일부 애플리케이션은 단일 io2 볼륨에서 제공하는 것보다 더 높은 IOPS, 처리량 또는 용량을 필요로 한다. 필요한 성능을 해결하기 위해 고객은 여러 io2 볼륨을 함께 스트라이프(stripe)하는 경우가 많다.
그러나 가장 까다로운 애플리케이션을 위해서는 고객이 관리하고자 하는 것보다 더 많은 io2 볼륨을 함께 스트라이프해야 한다. 이렇게 매우 까다로운 애플리케이션의 경우, 대다수 고객이 기존에 온프레미스 SAN(로컬 네트워크를 통해 액세스되는 디스크 세트)을 사용해 왔다. 그러나 SAN에는 수많은 단점이 있다. 높은 초기 구매 비용으로 인해 비용이 많이 들고, 충분한 용량을 보장하기 위해 복잡한 예측이 필요하며, 관리가 복잡하고 어렵고, 귀중한 데이터 센터 공간과 네트워킹 용량을 소비한다. SAN 용량을 초과하면 전체 SAN을 하나 더 구입해야 하므로 비용이 많이 들고 사용하지 않은 용량에 대한 비용을 고객이 부담해야 한다. 고객들은 SAN의 강력한 기능을 원하지만, 지금까지는 가능하지 않았던 클라우드에서 SAN 기능을 구현할 수 있기를 바랬다.
EBS 블록 익스프레스는 고객에게 클라우드용으로 구축된 SAN을 최초로 제공하는 완전히 새로운 스토리지 아키텍처다. EBS 블록 익스프레스는 대용량 IOPS, 높은 처리량, 높은 내구성, 큰 스토리지 용량 및 짧은 대기 시간의 이점을 제공하는 오라클, SAP HANA, 마이크로소프트 SQL 서버 및 SAS 애널리틱스의 가장 크고 I/O 집약적이며 미션 크리티컬한 구현을 위해 설계되었다. 이제 io2 볼륨을 블록 익스프레스에서 실행하면, 단일 io2 볼륨을 최대 256,000 IOPS로 프로비저닝하고, 초당 최대 4,000MB의 처리량을 구동하며, 모든 파라미터에서 기존 io2 볼륨보다 4배 큰 64TB의 용량을 제공할 수 있다. 또한 io2 블록 익스프레스 볼륨을 사용하면 대기 시간에 민감한 애플리케이션에 대해 밀리초 미만의 일관된 대기 시간을 달성할 수 있다.
고객은 또한 여러 io2 블록 익스프레스 볼륨을 함께 스트라이프하여 단일 볼륨이 제공할 수 있는 것보다 훨씬 뛰어난 성능을 얻을 수 있다. 블록 익스프레스는 기본 EBS 하드웨어, 소프트웨어 및 네트워킹 스택을 완전히 재창조하여 io2 볼륨이 이러한 성능을 달성할 수 있도록 돕는다. EBS 블록 익스프레스는 하드웨어 계층의 스토리지에서 컴퓨팅을 디커플링(분리)하고, 이러한 디커플링을 활용하기 위해 소프트웨어를 다시 작성하여, 새로운 수준의 성능을 구현하고 혁신에 소요되는 시간을 단축한다. 또한 블록 익스프레스는 고성능 SRD(Scalable Reliable Datagrams, 확장 가능한 신뢰할 수 있는 데이터그램) 네트워킹 프로토콜 활용을 위해 네트워킹 스택을 다시 작성하여 지연 시간을 획기적으로 줄인다. 이러한 개선 사항은 io2 블록 익스프레스 볼륨 사용에 대한 사전 약정 없이 바로 제공되며, 고객은 SAN의 초기 비용 없이 프로비저닝하고 용량을 확장할 수 있다.
앞으로 몇 달 안에 새로운 SAN 기능이 볼륨 익스프레스 볼륨에 추가될 예정이다. 여기에는 한 번에 여러 인스턴스를 단일 볼륨에 안전하게 연결할 수 있게 하는 I/O 펜싱을 제공하는 다중 연결(Multi-Attach), 빠른 스냅샷 복원(Fast Snapshot Restore), EBS 볼륨 크기, 유형 및 성능을 높일 수 있는 엘라스틱 볼륨(Elastic Volume) 등이 포함된다.
◇스토리지 용량에서 IOPS 분리하고 추가 성능 제공하며 이전 세대 볼륨보다 20% 낮은 가격 EBS Gp3 볼륨
고객은 EBS 볼륨을 사용하여 관계형 및 비관계형 데이터베이스(예: 마이크로소프트 SQL 서버 및 오라클), 엔터프라이즈 애플리케이션, 컨테이너형 애플리케이션, 빅 데이터 분석 엔진, 분산 파일 시스템, 가상 데스크톱, 개발/테스트 환경, 미디어 워크플로우 등 광범위한 워크로드를 운영한다. Gp2 볼륨은 고객이 대부분의 워크로드에 대한 IOPS 및 처리량 요구사항을 쉽고 비용 효율적으로 충족할 수 있게 해 주었지만, 일부 애플리케이션은 단일 Gp2 볼륨이 제공할 수 있는 것보다 더 많은 IOPS를 요구한다.
Gp2 볼륨을 사용하면 스토리지 용량에 따라 성능을 확장할 수 있으므로 고객은 더 큰 스토리지 볼륨 크기를 프로비저닝하여 애플리케이션에 대한 IOPS 및 처리량을 높일 수 있다. 그러나 일부 애플리케이션은 더 높은 성능을 요구하지만 더 많은 스토리지 용량을 필요로 하지 않는다(예: MySQL 및 카산드라(Cassandra)와 같은 데이터베이스). 이러한 경우, 고객은 필요한 IOPS 성능을 얻는 데 필요보다 더 많은 스토리지를 구입하게 될 수 있다. 이러한 워크로드를 실행하는 고객은 더 큰 스토리지 볼륨에 대한 프로비저닝과 비용 지불 없이 필요한 성능을 충족하기를 원한다.
차세대 Gp3 볼륨은 고객이 스토리지 용량과 별도로 IOPS 및 처리량을 독립적으로 프로비저닝할 수 있는 기능을 제공한다. 애플리케이션에 더 많은 성능이 필요한 워크로드의 경우 고객은 스토리지 용량을 추가하지 않고도 Gp3 볼륨을 수정하여 필요한 IOPS 및 처리량을 프로비저닝 할 수 있다. Gp3 볼륨은 3,000 IOPS와 125MB/초의 지속적인 기본 성능과 최대 16,000 IOPS와 1,000MB/초의 피크 처리량(Gp2 볼륨 대비 4배 향상)을 프로비저닝할 수 있는 기능을 제공한다. 스토리지와 관계없이 IOPS를 확장할 수 있도록 하여 고객의 비용을 절감하는 것 외에도, Gp3 볼륨은 기존 Gp2 볼륨보다 GB 당 20 % 더 저렴하다.
고객은 아마존 엘라스틱 컴퓨트 클라우드(Amazon Elastic Compute Cloud, EC2) 인스턴스의 중단 없이 기존 EBS 볼륨의 볼륨 유형, IOPS, 스토리지 용량 및 처리량을 수정할 수 있는 EBS의 기존 기능인 엘라스틱 볼륨을 사용해 Gp2 볼륨을 Gp3 볼륨으로 쉽게 마이그레이션할 수 있다. 고객은 또한 AWS 관리 콘솔(AWS Management Console), AWS CLI 또는 AWS SDK를 사용하여 Gp3 볼륨을 쉽게 새로 생성하고 성능을 확장할 수 있다.
◇2가지 새로운 아카이브 티어가 추가된 아마존 S3 인텔리전트 티어링으로 최대 95% 스토리지 비용절감
S3 인텔리전트 티어링 스토리지 클래스는 알 수 없거나 변화하는 액세스 패턴을 가진 데이터에 대한 스토리지 비용을 자동으로 최적화한다. 이는 스토리지 내 개별 객체의 변화하는 액세스 패턴을 기반으로 다이나믹 프라이싱을 자동으로 제공하는 최초이자 유일한 클라우드 스토리지 솔루션이다. S3 인텔리전트 티어링은 다양한 액세스 패턴(예: 데이터 레이크) 또는 알 수 없는 스토리지 액세스 패턴(예: 새로 출시된 애플리케이션)의 데이터 세트를 가진 고객들에 의해 널리 사용되었다. S3 인텔리전트 티어링은 빈번한 액세스를 위한 티어(실시간 데이터 쿼리용)와 빈번하지 않은 액세스를 위한 비용 최적화된 티어(배치 쿼리용)의 두 가지 가격으로 책정된 티어의 스토리지에 대해 요금을 부과한다.
그러나 많은 AWS 고객이 거의 액세스하지 않는 스토리지를 가지고 있으며, S3 글래시어(S3 Glacier) 또는 S3 글래시어 딥 아카이브(S3 Glacier Deep Archive)를 사용해 이렇게 아카이브된 데이터에 대한 스토리지 비용을 절감하고 있다. 지금까지 고객들은 개별 객체에 대한 액세스를 모니터링하고 기록하기 위해 자체 애플리케이션을 수동으로 구축하여 어떤 객체에 대한 액세스가 거의 없고 아카이브로 이동해야 하는지를 결정한 후, 그 객체들을 수동으로 이동해야 했다.
아카이브 액세스와 딥 아카이브 액세스 티어가 추가된 S3 인텔리전트 티어링은 다이나믹 티어링과 프라이싱을 클라우드에서 제공하는 최초이자 유일한 스토리지 클래스가 되었다. S3 인텔리전트 티어링은 이제 4가지 액세스 티어(프리퀀트, 인프리퀀트, 아카이브, 딥 아카이브)를 통해 자동 티어링 및 다이나믹 프라이싱을 제공한다. S3 인텔리전트 티어링을 사용하는 고객은 180 일 이상 프리퀀트 액세스에서 딥 아카이브로 자동 이동되는 스토리지에 대해 최대 95 %까지 비용을 절약할 수 있다. 고객이 아카이브 액세스 티어 중 하나 또는 둘 모두를 활성화하면 S3 인텔리전트 티어링은 90일 동안 액세스하지 않은 객체를 아카이브 액세스 티어로, 180일 후에는 딥 아카이브 액세스 티어로 자동으로 이동한다.
S3 인텔리전트 티어링은 S3 인벤토리(S3 Inventory)와 같은 기능을 지원하여 객체의 액세스 티어에 대해 보고하고, S3 복제(S3 Replication)는 모든 AWS 리전으로 데이터를 복제한다. S3 인텔리전트 티어링 사용 시 검색 요금은 없으며, 액세스 티어 간에 객체를 이동할 때 추가 티어링 수수료가 발생하지 않는다. 새로운 아카이브 액세스 티어가 추가된 S3 인텔리전트 티어링은 현재 모든 AWS 리전에서 이용 가능하다.
◇아마존 S3 레플리케이션, 동일한 AWS 리전 내에서 또는 서로 다른 AWS 리전에 걸쳐 다중 대상 데이터 복제 기능 추가
현재 고객은 S3 복제를 사용하여 컴플라이언스 요구사항, 짧은 지연 시간의 성능 또는 계정 간 데이터 공유를 위해 동일한 AWS 리전 내에서 또는 서로 다른 AWS 리전 간에 데이터 복제본을 생성할 수 있다. 또한 일부 고객은 데이터 주권 요건을 충족하거나, 지리적으로 분산된 팀 간의 협업을 지원하거나, 복원성을 위해 여러 AWS 리전에서 동일한 데이터 세트를 유지하기 위해, 실제 데이터를 다중 대상(동일한 AWS 리전의 S3 버킷 또는 여러 리전의 S3 버킷)에 복제해야 한다.
현재 고객은 이를 위해 새로 생성된 객체를 식별하기 위해 S3 이벤트를 모니터링하는 방식으로 자체적인 다중 대상 복제 서비스를 구축해야 한다. 이후 고객은 이러한 이벤트를 여러 대기열로 분산시키고, AWS 람다(AWS Lambda) 함수를 호출하여 각 대상 S3 버킷에 객체를 복사하고, 각 API 호출의 상태를 추적하고, 결과를 집계한다. 또한 고객은 이러한 시스템을 모니터링하고 유지해야 하므로 추가 비용과 운영 오버헤드가 발생한다.
S3 복제(다중 대상)를 사용하면 고객은 더 이상 여러 AWS 리전에 걸쳐 데이터를 복제하기 위한 자체 솔루션을 개발할 필요가 없다. 이제 고객은 S3 복제를 사용하여, 데이터 복제를 모니터링하기 위한 이벤트 및 메트릭이 포함된 동일한 정책 기반의 관리형 솔루션을 통해 AWS 리전 내에서나 여러 AWS 리전에 걸쳐, 또는 두 가지의 조합에 대해 데이터를 여러 버킷에 복제할 수 있다. 예를 들어, 고객은 이제 데이터를 기본 스토리지용, 아카이빙용, 재해 복구용 등 다양한 AWS 리전에 있는 여러 S3 버킷에 쉽게 복제할 수 있다. 고객은 또한 데이터 세트와 업데이트를 모든 AWS 리전에 배포하여 짧은 대기 시간의 성능을 달성할 수 있다.
또한 고객은 S3 복제(다중 대상)를 통해 스토리지 비용을 절감하고 데이터 컴플라이언스 요구사항을 충족하기 위해 대상마다 서로 다른 스토리지 클래스를 지정할 수 있다(예: 두 AWS 리전의 데이터에 S3 지능형 티어 스토리지 클래스를 사용하고 저비용 복제본을 위해 S3 글래시어 딥 아카이브에 다른 복사본을 가질 수 있음). S3 복제(다중 대상)는 서비스 수준 계약(SLA)에 포함되는 예측 가능한 복제 시간을 제공하기 위해 복제 시간 제어(Replication Time Control)와 같은 기존 S3 복제 기능을 완벽 지원하여 고객의 컴플라이언스 또는 비즈니스 요구사항을 충족한다. 또한 고객은 아마존 클라우드워치(Amazon CloudWatch) 메트릭스, 이벤트, 객체 수준 복제 상태 필드를 사용하여 복제 상태를 모니터링할 수 있다. S3 복제(다중 대상)는 S3 관리 콘솔이나 AWS 클라우드포메이션(AWS CloudFormation)을 사용하거나 AWS CLI 또는 AWS SDK를 통해 구성할 수 있다.
