언어모델 ‘Cerebro-BM-solar’가 평균 71.09점으로 1위 차지해

 

아이브릭스는 허깅페이스에서 운영하는 ‘Open-Ko-LLM 리더보드’에서 자체 개발 대규모 언어모델(LLM)로 1위를 달성했다고 24일 밝혔다. 

 

Open-Ko-LLM 리더보드는 한국어 LLM 모델 성능을 평가하는 벤치마크다. 추론능력, 상식능력, 언어 이해 종합능력, 환각현상 방지능력, 한국어 상식생성능력 등 다섯 가지 기준으로 평가해 순위를 매긴다.

 

 

현재까지 약 1713개의 언어모델이 참여했으며, 대기업부터 스타트업까지 치열하게 경쟁하는 이 리더보드에서 아이브릭스의 언어모델 ‘Cerebro-BM-solar’가 평균 71.09점으로 1위를 차지했다. 특히 환각현상 방지능력(Ko-TruthfulQA)과 상식능력(Ko-HellaSwag) 부문의 점수는 각각 86.02점, 81.18점으로 높은 평가를 받았다. 

 

Cerebro-BM-solar는 두 개의 SOLAR 언어모델을 융합하고 파인튜닝해 개발된 모델로, 매개변수 107억 개의 적은 파라미터로도 뛰어난 성능을 보여줌으로써 경제성까지 입증했다. 최근 전 세계적으로 글로벌 기업이 매개변수가 적은 모델로 개발 방향을 바꾸는 추세에서 저렴한 비용으로 효율적인 AI 모델을 구축하기 위한 노력이 계속되는 가운데 Cerebro-BM-solar는 AI 사업의 트랜드가 반영된 모델이라 할 수 있다.

 

아이브릭스 박호진 연구소장은 “이번 1위 달성은 지난 몇 년간 자체 LLM을 개발하면서 쌓인 노하우가 큰 도움이 됐다”며 “특히 Open-Ko-LLM 리더보드에서의 1위는 한국어 AI 경쟁력을 입증하는 계기로, 앞으로도 뛰어난 기술력을 바탕으로 한국형 LLM 모델 연구 개발에 매진해 더 혁신적인 모델을 선보이겠다”고 말했다. 

 

헬로티 서재창 기자 |