데이터 사일로를 허물고 원활한 데이터 액세스 지원해

 

많은 엔터프라이즈급 기업이 멀티 클라우드 아키텍처를 배포하면서, 기업의 데이터는 여러 퍼블릭 클라우드 제공업체로 분산되고 있다. 기업은 비즈니스 인텔리전스, 분석, 스트리밍 등 여러 사용 사례에서 파생되는 데이터를 데이터 웨어하우스, 운영 및 관계형 데이터베이스, 객체 스토리지 등 다양한 스토리지 시스템으로 점차 분할 관리하는 추세다. 

 

이러한 데이터 트렌드에 따라, 기업들은 개방형 멀티 클라우드 데이터 레이크로 눈을 돌리고 있다. 그러나 멀티 클라우드 데이터 레이크는 데이터 사일로, 데이터 복제, 파편화된 거버넌스, 도구의 복잡성, 비용 증가와 같은 여러 문제를 안고 있다. 

 

 

구글 클라우드는 이러한 고객의 다양한 문제점을 해결하기 위해 AWS 서울 리전에 빅쿼리 옴니(BigQuery Omni)를 지원한다고 밝혔다. 빅쿼리 옴니는 데이터 사일로를 허물고 원활한 데이터 액세스를 지원해 한국에 기반을 둔 멀티 클라우드 고객 또는 해당 지역에서 엔드 유저를 확보하려는 기업에 이상적인 서비스를 제공한다.

 

빅쿼리 옴니는 유연한 멀티 클라우드 분석 솔루션으로 익숙한 빅쿼리 사용자 인터페이스(UI)를 사용해 구글 클라우드, AWS 및 MS 애저 환경에서 비용 효율적으로 데이터에 액세스하고 안전하게 데이터를 분석할 수 있도록 지원한다.

 

기업은 표준 SQL과 구글 클라우드 고객들이 선호하는 빅쿼리 API를 사용해 데이터 사일로를 해소하고 단일 창에서 중요한 비즈니스 인사이트를 확보한다. 또한, 데이터 소스 전반에서 클라우드 간 분석을 수행하고 빅레이크 및 데이터플렉스를 통해 통합된 멀티 클라우드 거버넌스를 확보한다. 

 

구글의 데이터 클라우드 기술을 통해 고객은 분산형 클라우드 서비스 간 고유한 조합을 활용한다. 루커를 사용해 애자일한 크로스 클라우드 시맨틱 비즈니스 계층을 생성하고, 빅쿼리와 빅레이크, 빅쿼리 옴니와 같은 기능을 통해 클라우드 환경 전반에 걸쳐 데이터 레이크 및 데이터 웨어하우스를 대규모로 관리한다.

 

빅레이크는 데이터 웨어하우스와 레이크 하우스를 통합하는 스토리지 엔진으로, 빅쿼리 관리 테이블 및 파케이, 아파치 아이스버그와 같은 오픈 파일 형식을 비롯한 다양한 스토리지 형식을 표준화한다. 빅쿼리 옴니는 AWS 또는 애저 스토리지에서 로컬로 실행할 수 있는 컴퓨팅 엔진을 제공하며, 고객은 이를 사용해 AWS 또는 애저의 데이터를 원활하게 쿼리한다. 

 

한편, 기업은 광고 최적화, 재고 관리, 고객 이탈 예측, 구매자 성향 트렌드 등 다양한 마케팅 분석을 수행하고자 한다. 기존에 이러한 분석을 수행하려면 구글 애널리틱스, 공공 데이터 세트, 클라우드 환경에 저장된 기타 독점 정보 등 여러 다른 소스의 데이터를 사용해야 했다. 클라우드 간 분석을 수행하고 실행 가능한 인사이트를 도출하기 위해서는 대량의 데이터를 이동하고 중복 복사본을 관리하며 비용 증가 또한 감수해야 한다. 

 

빅쿼리 옴니를 사용하면 이러한 워크플로를 간소화한다. 사용자는 익숙한 빅쿼리 인터페이스를 사용해 AWS 또는 애저에 있는 데이터에 액세스하고, 추가 분석을 위해 결합해야 하는 관련 데이터만 검색 및 선택할 수 있다. 이 데이터의 하위 집합은 빅쿼리 옴니의 새로운 클라우드 간 전송 기능을 사용해 구글 클라우드로 이전한다.

 

고객은 해당 데이터를 구글 클라우드의 다른 데이터 세트와 결합할 수 있으며, 이렇게 통합된 테이블은 루커 및 루커 스튜디오와 같은 고급 분석 도구를 통해 주요 비즈니스 이해 관계자에게 제공된다. 이제 버텍스 AI를 통해 이 데이터를 최신 AI 모델과 연결할 수도 있다.

 

고객의 또 다른 니즈는 통합 데이터 플랫폼으로 서로 다른 클라우드의 데이터 사일로 환경에서도 운영, 트랜잭션 및 비즈니스 데이터를 분석하는 것이다. 데이터 사일로는 인수 합병, 분석 도구의 표준화, 여러 클라우드 환경에서 다양한 솔루션 활용, 클라우드 간 데이터 사용 공간 다각화 등 다양한 요인으로 인해 발생한다. 

 

스토리지와 컴퓨팅 계층을 각각 추상화하는 빅레이크와 빅쿼리 옴니를 활용해 기업은 데이터 위치에 관계없이 구글 클라우드에서 데이터에 액세스하고 쿼리를 수행한다. 또한, 빅쿼리에서 세분화된 행 수준 및 열에 대한 액세스 정책을 설정하고, 모든 클라우드 환경에서 일관성 있게 데이터를 관리한다.

 

이러한 구성 요소를 통해 데이터 엔지니어링 팀은 복잡한 데이터 파이프라인을 구축하고 관리할 필요 없이, 데이터 사용자를 위해 통합 및 관리된 데이터 플랫폼을 구축한다. 또한, 데이터플렉스 및 데이터 카탈로그와 빅쿼리 옴니를 통합해 모든 클라우드에서 데이터를 검색하고, 비즈니스 용어 및 도메인 관련 데이터를 통해 비즈니스 컨텍스트를 추가함으로써 데이터를 보강한다. 

 

헬로티 서재창 기자 |