데이터브릭스가 데이터 관리 기업인 타뷸러(Tabular) 인수에 합의했다고 10일 발표했다.
타뷸러는 아파치 아이스버그(Apache Iceberg)의 창시자인 라이언 블루, 다니엘 윅스, 그리고 제이슨 리드에 의해 설립됐다. 이번 인수로 데이터브릭스는 두 가지 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버그와 리눅스 파운데이션 델타 레이크 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다.
데이터브릭스는 레이크하우스에 형식 호환성을 제공하기 위해 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력할 계획이다. 이러한 협력은 단기적으로는 델타 레이크 유니폼 내에서 이뤄지며 장기적으로는 개방적이고 공통적인 단일 상호운용성 표준으로 발전하게 된다.
데이터브릭스는 2020년 레이크하우스 아키텍처를 개척하고, 기존의 데이터 웨어하우징 워크로드와 AI 워크로드를 관리가 가능한 단일 데이터 사본에 통합할 수 있게 했다. 이를 위해서는 다양한 워크로드, 애플리케이션, 엔진이 동일한 데이터에 액세스할 수 있도록 모든 데이터가 개방형 형식이어야 한다.
레이크하우스 아키텍처는 데이터에 대한 접근을 보편화함으로써 기업의 생산성을 극대화하는데, 이는 독점 데이터 웨어하우스와는 대조적이다. 독점 데이터 웨어하우스에서는 독점 SQL 엔진만이 데이터를 읽거나 쓰거나 공유할 수 있으며, 다른 애플리케이션에서 데이터를 사용하기 위해서는 데이터를 복사하고 내보내야 해 특정 공급업체에 종속될 가능성이 높기 때문이다.
레이크하우스의 기반은 오브젝트 스토리지에 저장된 데이터의 ACID 트랜잭션을 지원하는 오픈소스 데이터 형식이다. 이러한 형식은 아파치 스파크, 트리노 및 프레스토와 같은 오픈소스 엔진을 위해 특별히 설계됐으며, 데이터 레이크에서 데이터 작업의 안정성 및 성능을 획기적으로 개선한다.
데이터브릭스는 이를 지원하기 위해 리눅스 재단과 협력해 델타 레이크 프로젝트를 출범했다. 지금까지 다양한 조직의 500명 이상의 코드 기여자가 이 프로젝트에 참여했으며, 전 세계 1만 개 이상의 기업이 델타 레이크를 사용해 매일 평균 4엑사바이트 이상의 데이터를 처리하고 있다.
알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “데이터브릭스와 타뷸러는 오픈소스 커뮤니티와 협력해 시간이 지남에 따라 두 형식을 더 가깝게 만들어 개방성을 높이며 고객의 사일로와 마찰을 줄여나갈 계획”이라고 밝혔다.
그는 또한 “작년에 우리는 이 두 형식 간의 상호 운용성을 제공하기 위해 델타 레이크 유니폼을 발표했다”며 “유니폼을 통해 모든 워크로드에 대한 데이터를 통합하는 최고의 방법을 제공하기 위해 오픈 데이터 레이크하우스 형식의 선두 주자들을 한자리에 모으게 돼 매우 기쁘다”고 덧붙였다.
라이언 블루 타뷸러 공동창업자 겸 CEO는 "우리는 정확성, 성능 및 확장성과 관련된 중요한 데이터 문제를 해결하기 위해 아파치 아이스버그를 개발했다“며 ”타뷸러는 데이터브릭스에 합류해 개방형 레이크하우스 형식을 기반으로 최고의 데이터 관리 플랫폼을 구축할 계획“이라고 말했다.
헬로티 이창현 기자 |
