SQL 코드 생성, 명령 이행 등 다양한 기준에서 만족할 만한 조건 충족해

스노우플레이크가 최고 수준의 개방성과 성능을 갖춘 엔터프라이즈급 대규모언어모델(LLM) ‘스노우플레이크 아크틱(Snowflake Arctic)’을 출시했다. 

스노우플레이크 고유의 전문가혼합(MoE) 방식으로 설계된 아크틱은 동급 최고 성능과 생산성을 지원한다. 기업의 복잡한 요구사항 처리에도 최적화해 SQL 코드 생성, 명령 이행 등 다양한 기준에서 만족할 만한 조건을 충족한다. 

특히 아크틱 LLM은 무료로 상업적 이용까지 가능한 아파치 2.0 라이선스로, 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 새로운 개방 표준을 수립했다. 이 LLM은 스노우플레이크 아크틱 모델군의 일부로, 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다.

슈리다 라마스워미(Sridhar Ramaswamy) 스노우플레이크 CEO는 “스노우플레이크 AI 연구팀은 AI 분야 최전방에서 혁신을 이끌며 자사에 중요한 전환점을 마련했다”며 “스노우플레이크는 오픈소스로 개선된 성능과 효율을 AI 커뮤니티에 공개하면서 오픈소스 AI가 지닌 가능성의 영역을 넓혀가고 있다. 고객에게 유능하면서도 믿을 수 있는 AI 모델을 제공하는 스노우플레이크의 AI 역량도 높아지고 있다”고 말했다.

스노우플레이크 데이터 클라우드 플랫폼은 현재 전 세계 9400여 기업 및 기관의 데이터 기반으로 활용되는 것으로 알려졌다. 이들은 높은 수준의 개방성을 제공하는 LLM을 통해 데이터를 활용하게 된다. 아파치 2.0 라이선스를 적용한 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아 NIM, 엔비디아 텐서RT-LLM, vLLM, 허깅페이스 등 기업이 선호하는 프레임워크로 아크틱을 사용하고 커스터마이징한다.

스노우플레이크 코텍스에서는 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로, 허깅페이스, 라미니, 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티, 투게더 AI 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝 및 AI 솔루션을 제공한다. 아마존웹서비스(AWS)에서도 아크틱 사용이 가능해질 예정이다.

스노우플레이크는 아크틱 구축에 3개월 미만이 소요됐다고 전했다. 모델 학습에는 아마존 일래스틱 컴퓨트 클라우드 P5 인스턴스가 활용됐으며, 학습 비용은 유사 모델 대비 8분의 1에 그쳤다. 스노우플레이크는 최첨단 개방형 엔터프라이즈급 모델의 학습 속도에 새로운 기준을 제시하며, 궁극적으로는 사용자가 비용 효율적이고 맞춤화된 모델을 최적의 규모로 생성할 수 있도록 지원한다. 

아크틱의 차별화한 MoE 설계는 기업의 요구사항에 따라 세밀하게 설계된 데이터 조립을 통해 학습 시스템과 모델 성능 모두를 향상한다. 또한, 4800억 개의 매개 변수를 한 번에 17개씩 활성화함으로써 뛰어난 토큰 효율과 높은 품질을 구현하며 최상의 결과를 제공할 것으로 보인다.

아크틱은 획기적인 효율 개선을 위해 추론이나 학습 중 DBRX보다 약 50%, Llama 3 70B보다 약 75% 적은 매개변수를 활성화한다. 코딩과 SQL 생성 면에서도 DBRX, Mixtral-8x7B 등 대표적인 기존 오픈소스 모델의 성능을 능가함과 동시에 일반 언어 이해(MMLU)에서 최상급 성능을 보인다.

스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI/머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 고객이 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축하는 것은 쉬워진다.

아크틱 LLM이 포함된 스노우플레이크 아크틱 모델군에는 스노우플레이크가 최근 출시한 최첨단 텍스트 임베딩 모델 중 하나인 아크틱 임베드도 포함된다. 이 제품은 아파치 2.0 라이선스로 오픈소스 커뮤니티에서 무료로 사용할 수 있다.

다섯 가지 모델로 구성된 이 제품군은 허깅페이스에서 바로 사용하며 스노우플레이크 코텍스에 내장돼 프라이빗 프리뷰 형태로 공개될 예정이다. 유사 모델의 약 3분의 1 크기인 이 임베딩 모델은 최상의 검색 성능을 발휘하도록 최적화해 기업이 검색증강생성(RAG) 또는 시맨틱 검색 서비스의 일부로 고유의 데이터 세트를 LLM과 결합할 때 경제적인 솔루션을 제공한다. 

최근 스노우플레이크는 레카와 미스트랄 AI의 모델도 추가하는 등 고객이 데이터 클라우드에서 가장 높은 성능의 최신 LLM을 접할 수 있도록 지원하고 있다. 또한, 최근 엔비디아와의 확장된 파트너십을 발표하며 AI 혁신을 지속할 계획이다. 

스노우플레이크의 데이터 클라우드는 풀스택 엔비디아 가속 플랫폼과 결합해 산업 전반에 걸쳐 AI의 생산성을 적극 활용하는 안전하고 강력한 인프라 및 컴퓨팅 역량을 제공하고 있다. 스노우플레이크 벤처스는 고객이 각자의 기업 데이터에서 LLM과 AI를 통한 가치 창출을 지원하기 위해 최근 랜딩 AI, 미스트랄 AI, 레카 등에도 투자했다.

헬로티 서재창 기자 |