데이터브릭스가 아마존웹서비스(AWS)와 전략적 협력 협약(SCA)을 체결하고, AWS에서 데이터브릭스 모자이크 AI(Mosaic AI)를 활용한 맞춤형 모델 개발을 가속화한다고 16일 밝혔다.
이번 협력으로 데이터브릭스는 모자이크 AI 모델의 학습 및 서비스 기능을 AWS에서 지원하기 위해 AWS의 트레이니움 칩을 우선적으로 활용한다는 계획이다. 양사 고객은 AWS의 규모, 성능 및 보안을 기반으로 모자이크 AI를 통해 대형 언어모델(LLM)을 사전 학습, 미세 조정, 보강 및 서비스할 수 있으며 이를 자체 데이터에 적용할 수 있다.
이번 협력은 모자이크 AI 모델 서빙을 포함한 데이터브릭스의 확장된 모자이크 AI 기능을 기반으로 한다. 모자이크 AI 모델 서빙은 아마존 베드락을 통해 제공되는 여러 모델을 비롯한 다양한 모델 제공업체를 지원하도록 설계됐다.
또한 고객은 고성능의 비용 효율적인 AWS 트레이니움 칩을 사용해 합리적인 비용으로 모자이크 AI에서 모델 학습을 확장할 수 있다. 데이터브릭스와 AWS는 수천 명의 고객이 데이터 및 지적 재산에 대한 통제력을 유지하면서도 고품질의 맞춤형 AI 애플리케이션을 구축, 배포, 모니터링할 수 있도록 지원한다는 방침이다.
알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “생성형 AI는 모든 산업의 혁신을 주도하고 있으며, 궁극적으로 기업의 데이터가 경쟁력을 좌우하는 핵심 자산이 될 것”이라며 “AWS와의 협력 강화를 통해 탁월한 확장성과 비용 효율성을 바탕으로 고객이 자체 생성형 AI 애플리케이션을 더욱 빠르게 시장에 출시할 수 있도록 지원할 예정”이라고 말했다.
맷 가먼 AWS CEO는 “데이터브릭스와의 협력으로 고객은 생성형 AI로 데이터에서 실질적인 가치를 창출할 수 있게 됐다”며 “AWS 트레이니움을 활용한 모자이크 AI 구동으로 데이터브릭스는 고객이 업계나 사용 사례에 구애받지 않고 분석 워크플로우 상에서 생성형 AI 애플리케이션을 비용 효율적으로 구축하고, 배포할 수 있도록 한다”고 설명했다.
이어 “이로써 모든 규모의 기업은 데이터에서 중요한 인사이트를 얻고, 비즈니스에서 가장 중요한 부분에 집중하여 더 빠르게 혁신할 수 있도록 지원한다”고 덧붙였다.
이번 협약은 데이터브릭스와 데이터브릭스의 첫 번째 클라우드 파트너사인 AWS 간의 오래된 협력 관계를 기반으로 한다. 데이터브릭스의 AWS 관련 사업은 이미 연간 10억 달러 이상의 수익률을 달성했으며, 이는 부분적으로 AWS 마켓플레이스의 기여에 힘입은 결과다. 지난 2년 동안 총 계약 가치는 연간 기준 두 배로 증가했다. 데이터브릭스와 AWS는 제품 기능 및 고객 지원 프로그램에 지속적으로 투자할 예정이다.
헬로티 이창현 기자 |
