데이터브릭스(Databricks)가 프로덕션 품질의 생성형 AI 구축을 지원하기 위해 모자이크 AI(Mosaic AI)에 새로운 기능을 출시한다고 13일 발표했다.
데이터브릭스는 모자이크 AI에서 복합 AI 시스템 구축 지원, 모델 품질 개선 기능 및 새로운 AI 거버넌스 도구 세 가지 핵심 영역에 투자한다. 이로써 고객이 프로덕션 품질의 애플리케이션을 구축 및 측정하고, 자사 비즈니스에서 생성형 AI의 가치를 실현하도록 지원한다는 계획이다.
마테이 자하리아 데이터브릭스 공동창업자 겸 CTO는 “복합 AI 시스템은 향후 AI 애플리케이션의 품질, 신뢰성 및 평가를 극대화할 가장 좋은 수단으로서 2024년 가장 중요한 AI 트렌드 중 하나가 될 것이라 기대한다”며 “데이터브릭스는 품질 개선에 투자해 이러한 트렌드를 선도하고 실시간 데이터, 에이전트 및 도구로 모델을 보강해 새로운 기능을 제공할 수 있는 독보적인 입지 또한 갖추고 있다”고 말했다.
데이터브릭스가 고객의 프로덕션 품질 생성형 AI 애플리케이션 구축을 지원하기 위해 새롭게 출시한 기능으로는 모자이크 AI 에이전트 프레임워크(Agent Framework), 모자이크 AI 에이전트 이밸류에이션(Agent Evaluation), 모자이크 AI 툴 카탈로그(Tools Catalog), 모자이크 AI 모델 트레이닝(Model Training), 모자이크 AI 게이트웨이(Gateway)가 있다.
데이터브릭스는 새로운 기능을 통해 고객이 엔터프라이즈급 복합 AI 시스템을 구축하도록 돕는다. 검색 증강 생성(RAG)은 일종의 복합 AI 시스템으로,= 벡터 데이터베이스와 같은 여러 구성 요소와 모니터링, 평가, 보안 및 거버넌스 도구를 사용해 LLM의 정확도를 향상한다.
지난 5월 데이터브릭스는 데이터 인텔리전스 플랫폼에 원활하게 통합된 서버리스 벡터 데이터베이스인 모자이크 AI 벡터 검색(Vector Search)을 정식으로 출시한 바 있다. 이번에는 개발자가 파운데이션 모델과 엔터프라이즈 데이터를 사용해 고품질 RAG 애플리케이션을 신속하고 안전하게 구축할 수 있는 모자이크 AI 에이전트 프레임워크를 발표했다.
개발자는 모자이크 AI 에이전트 이밸류에이션을 통해 RAG 애플리케이션의 품질을 평가하고 신속하게 반복 작업하며, 애플리케이션을 쉽게 재배포할 수 있다. 모자이크 AI 에이전트 이밸류에이션은 결과물의 품질이 우수한지 자동으로 판단하고 직관적인 UI를 제공해 이해관계자의 피드백을 받도록 하는 AI 지원 평가 도구다. 이 모든 기능은 조직이 프로덕션 품질의 생성형 AI 솔루션을 배포할 수 있도록 돕는다.
복합 AI 시스템은 흔히 도구를 활용해 지능적인 코드 생성 및 실행, 웹 검색, API 호출 등 외부와 상호 작용할 수 있는 새로운 기능을 시스템에 탑재한다. 모자이크 AI 툴 카탈로그는 조직이 데이터브릭스 유니티 카탈로그(Unity Catalog)를 사용해 도구를 관리, 공유 및 등록할 수 있도록 지원한다. 도구를 지원하는 모델은 안전하고 관리 가능한 방식으로 도구를 사용할 수 있을 뿐만 아니라 조직 전체에서도 이들 도구를 검색할 수 있게 된다.
모자이크 AI 모델 트레이닝은 조직의 비공개 데이터로 오픈 소스 기반 모델을 미세 조정해 해당 도메인이나 업무에 특화된 새로운 지식을 제공한다. 고객은 미세 조정된 모델을 완전히 소유 및 제어하게 되는데, 해당 모델은 특정 업무를 위해 조직의 비공개 데이터로 학습되었기 때문에 특정 사용 사례에서 더 높은 품질의 결과를 생성한다.
한편, 모자이크 AI 에이전트 프레임워크, 모자이크 AI 에이전트 이밸류에이션, 모자이크 AI 모델 트레이닝 및 모자이크 AI 게이트웨이는 현재 공개 프리뷰로 제공되며, 모자이크 AI 도구 카탈로그는 현재 비공개 프리뷰로 제공된다.
헬로티 이창현 기자 |
