일반뉴스 '통합된 벤치마크' 업스테이지, LLM 평가 플랫폼 무료 공개

주요 벤치마크 하나로 통합해 언어모델 성능 종합 테스트하도록 만들어 이제 누구나 거대언어모델(LLM)을 자체적으로 평가하고 테스트한다. 업스테이지는 자사가 개발한 노코드 LLM 종합 평가 플랫폼 ‘이벨버스(Evalverse)’를 무료로 공개한다고 3일 밝혔다. 오픈소스 형태로 깃허브에 공개돼 누구나 쉽게 활용할 수 있다. 통상 LLM 성능 평가에는 특정 데이터셋을 기준으로 응답 정확도를 기록한 ‘벤치마크’ 지표를 활용한다. 모델의 추론, 상식, 언어 이해 능력 등 6가지 부문을 측정하는 허깅페이스 ‘H6’ 지표를 포함, 대화 능력 지표 ‘MT-bench’, 감성 평가 지표 ‘EQ-bench’, 및 지시 이행 능력 지표 ‘IFEval’ 등이 주요 벤치마크로 꼽힌다. 이에 업스테이지는 이러한 주요 벤치마크를 한 군데 통합해 언어모델 성능을 종합적으로 테스트할 수 있는 자체 평가 플랫폼을 개발했다. 기존에는 특정 벤치마크를 테스트하려면 해당 플랫폼에 모델을 제출해야 하는 번거로움이 있었지만, 이벨버스를 활용하면 여러 벤치마크 테스트를 동시에 진행할 수 있다. 업스테이지 이벨버스는 업무용 메신저 ‘슬랙’에 API 챗봇 형태로 연동해 사용성을 확대했다. 특히, 슬랙

• 서재창 기자
• 2024-04-03 13:41