ETL 데이터 파이프라인 구축·관리할 필요 없이 데이터 연결 및 분석 지원
아마존웹서비스(이하 AWS)가 ‘AWS 리인벤트 2023’에서 제로 ETL 통합 기능 네 가지를 새롭게 발표했다.
제로 ETL 통합은 고객이 복잡한 ETL(추출, 변환, 로드) 데이터 파이프라인을 구축·관리할 필요 없이 데이터를 빠르고 쉽게 연결하고 분석할 수 있도록 지원한다. 새로운 아마존 오로라 포스트그레SQL, 아마존 다이나모DB, 아마존 RDS 포 MySQL은 아마존 레드시프트와 통합돼 아마존 레드시프트 내의 여러 관계형 및 비관계형 데이터베이스의 트랜잭션 데이터를 쉽게 연결하고 분석한다.
고객은 아마존 오픈서치 서비스를 사용해 실시간에 가까운 속도로 다이나모DB 데이터에 대한 전체 텍스트 및 벡터 검색을 수행할 수 있게 된다. 이번 제로 ETL 통합은 데이터 위치에 관계없이 데이터에 대한 쉬운 연결과 활용을 제공해 고객이 AWS의 선도적인 데이터베이스 및 분석 서비스를 폭넓게 활용해 새로운 인사이트를 발견하고, 빠르게 혁신하며, 진화한 데이터 기반 의사 결정을 내릴 수 있도록 지원한다.
스와미 시바수브라마니안(Swami Sivasubramanian) AWS 데이터 및 AI 부문 부사장은 "AWS는 모든 유형의 데이터를 대규모로 저장하고 쿼리할 수 있는 업계 내 가장 광범위하고 심층적인 데이터 서비스를 제공해 데이터를 통한 고객의 혁신을 가속화한다”고 말했다.
이어 그는 "비즈니스에서 더 많은 가 치를 창출하고 더 빠르게 혁신하기 위해서는 업무에 적합한 도구를 갖추는 것을 넘어, 조직 전체에 분산되어 있는 데이터를 통합해야 한다. 이를 위해 AWS는 고객이 필요한 곳에서 데이터를 쉽게 얻을 수 있도록 제로 ETL에 투자하며, 데이터 통합을 지루한 작업으로 여겨서는 안 된다”고 말했다.
또한, “오늘 발표한 새로운 통합 기능은 고객이 이러한 제로 ETL의 미래로 나아가는 데 도움이 될 것이며, AWS는 이 비전에 지속적으로 투자해 고객이 전체 시스템에서 데이터를 쉽게 통합하고 새로운 인사이트를 도출하는 데 집중할 수 있도록 지원할 것이다”고 덧붙였다.
데이터는 모든 조직의 차별화 요소다. 하지만 조직들은 다양한 규모와 속도로 다양한 출처에서 발생하는 다양한 유형의 데이터를 보유하며, 데이터의 사용처도 못지않게 다양하다. 조직이 데이터를 최대한 활용하기 위해서는 여러 소스에 분산된 데이터를 통합하고 결합하는 기능과 함께 이러한 모든 변수를 고려하는 포괄적인 도구 세트가 필요하다.
예를 들어, 데이터 웨어하우스에서 분석하고자 하는 트랜잭션 데이터를 관계형 데이터베이스에 저장하고 다른 분석 도구를 사용해 비관계형 데이터베이스의 데이터에 대해 벡터 검색을 수행할 수 있다. 지금까지는 이 같은 상황에 데이터를 이동하기 위해 고객이 자체 ETL 파이프라인을 설계해야 했는데, 이는 구축이 어렵고 비용이 많이 들며, 관리가 복잡하고 간헐적 오류가 발생해 시간에 민감한 사안에 대한 액세스가 지연될 수 있다는 한계가 있었다.
AWS는 고객이 데이터에서 가치를 창출할 수 있도록 포괄적인 데이터 서비스 세트를 제공해 고객은 언제나 작업에 최적화된 도구를 사용할 수 있다. 나아가 AWS는 데이터를 수동으로 이동해야 하는 부담을 덜어주는 제로 ETL 기능에 투자해 고객으로 하여금 데이터의 위치에 관계없이 모든 데이터를 연결하고 데이터를 비즈니스의 중심에 둘 수 있도록 지원한다.
고객이 운영 데이터베이스, 데이터 웨어하우스, 데이터 레이크에 저장된 데이터를 직접 쿼리 할 수 있는 아마존 레드시프트 및 아마존 아테나의 연합 쿼리 기능과 고객이 분석 및 머신러닝(ML)을 위해 컨택 센터 데이터에 더 쉽게 액세스할 수 있는 아마존 커넥트 분석 데이터 레이크 등이 이에 포함된다.
아울러 세일즈포스 데이터 클라우드와 AWS 스토리지, 데이터 및 분석 서비스 간의 새로운 제로 ETL 통합 역시 이번 ETL 통합에 해당되며, 이를 통해 고객이 세일즈포스와 AWS 전반에서 데이터를 쉽고 원활하게 통합하고 개선된 인사이트를 얻을 수 있도록 지원한다. 이번에 발표된 통합 기능은 AWS의 제로 ETL 기반에 구축되어 데이터 파이프라인 구축 및 유지 관리의 부담을 덜어주고, 고객이 데이터 위치에 관계없이 모든 데이터를 빠르고 쉽게 연결할 수 있도록 한다.
헬로티 서재창 기자 |
