LLM 부문 시험기관 담당...인증 체계 전반에 걸친 핵심 역할 수행
셀렉트스타가 한국인공지능산업협회(AIIA)가 주관하는 민간 AI 신뢰성 인증 제도 ‘AI-MASTER’의 시험기관으로 공식 참여한다. 이 인증 제도는 민간 주도로 설계된 실증 중심의 AI 신뢰성 검증 체계로, 유럽연합(EU)의 ‘Trustworthy AI’ 원칙과 9종의 ISO/IEC 국제표준을 기반으로 63개 평가 항목을 정량 분석한다.
셀렉트스타는 AI-MASTER 사업에서 초거대언어모델(LLM) 부문 시험기관을 맡으며, 인증 프레임워크 설계와 평가 항목 정의, 자동화 평가 도구 개발 등 인증 체계 전반에 걸친 핵심 역할을 수행한다. 특히 신뢰성 인증의 주요 평가 기준인 인간의 행동 주체성과 감독, 기술적 강건성과 안전, 투명성, 사회 및 환경 복지 등 네 가지 Trustworthy AI 항목과 여덟 가지 세부 지표를 자체 루브릭으로 정립해 인증 체계의 객관성을 강화했다.
셀렉트스타는 평가 자동화 솔루션인 ‘다투모 이밸(Datumo Eval)’을 통해 인증 효율성과 정밀도를 동시에 확보했다. 이 솔루션은 LLM의 응답 품질을 평가하고, Trustworthy AI 기준에 맞춰 정량 점수를 산출한다. 전체 평가 항목 중 약 60%는 이 시스템을 통해 자동화된 평가가 가능하며, 평가 편차를 최소화해 인증 신뢰도를 높인다.
‘AI-MASTER’ 인증은 시험기관의 기술 검증을 거친 후 산학연 전문가로 구성된 인증 심의위원회의 종합 평가를 통해 이뤄진다. 인증은 한국인공지능산업협회가 발급하며, 향후 공공조달 연계, 정부 R&D 과제 반영, 고영향 AI 지정 제도 등과의 연계도 추진될 예정이다. 또한 글로벌 인증 상호인정 체계로 확장될 가능성도 열려 있다.
이번 인증 제도의 첫 번째 수여 대상은 포티투마루의 LLM 모델 ‘LLM42’가 선정됐다. 셀렉트스타는 향후 다양한 산업군의 AI 모델을 대상으로 신뢰성 검증 사업을 확대하고, 특히 금융권 등 고신뢰 분야에서 평가 컨설팅 수요가 늘어날 것으로 보고 있다.
김세엽 셀렉트스타 대표는 “AI-MASTER 인증 시험기관 참여는 셀렉트스타가 축적해 온 평가 기술력을 공공 인증 체계에 적용하는 사례”라며 “다투모 이밸을 중심으로 국내 AI 산업의 신뢰성과 품질 향상에 기여하겠다”고 밝혔다.
셀렉트스타는 지난 2월 ‘다투모 이밸’을 정식 출시하고, AI 모델의 업무 환경 적합성과 기준 충족 여부를 정량적으로 평가할 수 있는 기능을 선보였다. 현재 삼성생명과 금융 특화 AI 품질 프로젝트를 함께 수행 중이며, 데이터 컨설팅과 모델 검증을 포함한 통합 서비스를 제공하고 있다.
헬로티 서재창 기자 |
