7월 말 기준 1700개가 넘는 LLM 모델이 제출되는 등 많은 참여 이어져
업스테이지와 한국지능정보사회진흥원(이하 NIA)이 공동 운영하는 ‘Open Ko-LLM 리더보드’가 8월 12일부터 새로운 벤치마크를 적용한 시즌 2로 전면 개편된다.
Open Ko-LLM 리더보드는 ’23년 9월 민관협력을 통해 개설된 국내 최대 개방형 한국어 거대언어모델(LLM) 평가 체계로, 산·학·연 각계 분야에서 7월 말 기준 1700개가 넘는 LLM 모델이 제출돼 경쟁하는 등 많은 관심과 참여가 지속되고 있다.
최근 LLM 기술이 빠르게 발전함에 따라, 1년 전에 만들어진 리더보드 벤치마크의 개선 필요성이 대두됐다. 이에 따라 업스테이지와 NIA는 기존 벤치마크를 전면 폐지하고 새로운 성능 평가 지표를 적용한 Open Ko-LLM 리더보드 시즌 2 운영을 시작한다. 새롭게 추가된 벤치마크는 Ko-GPQA(대학원 수준 추론), Ko-WinoGrande, Ko-GSM8K(초등 수학), Ko-EQ-Bench(감성), Ko-IFEval(지시 이행), KorNAT-Knowledge(한국어 신뢰성), KorNAT-Social-Value(사회적 가치), Ko-Harmlessness(무해성), Ko-Helpfulness(실용성) 등 총 9개다.
기존에는 LLM의 근본적인 언어능력 평가에 초점을 맞췄다면, 새 시즌에서는 고도화한 지능과 문제해결 능력 등 실용적인 부분에 집중한다. 이를 위한 지표를 촘촘하게 구성해 고성능 모델의 옥석을 가려낼 것이라는 기대다. 이에 기존 제출됐던 모든 모델을 포함해 향후 제출되는 모든 LLM은 신규 벤치마크를 통해 평가될 예정이다. 또한, 플리토, 셀렉트스타 및 KAIST AI 대학원이 새롭게 참여해 전문화한 벤치마크 데이터셋을 제공할 예정이다.
업스테이지 김성훈 대표는 “새롭게 개편된 리더보드로 한국어 LLM 성능 평가의 기준점을 한 단계 더 높일 것으로 기대한다”며 “앞으로 업스테이지는 글로벌 표준을 뛰어넘는 국내 AI 생태계 강화에 앞장설 것”이라고 밝혔다. NIA 황종성 원장은 “리더보드는 민관 협업을 통해 한국어 LLM 생태계 조성에 기여해 오며 시즌2 개편을 통해 한국어 LLM 기술이 세계적 수준에 한발 더 올라서는 계기가 되기를 기대한다”고 밝혔다.
헬로티 서재창 기자 |
