AI 에이전트 시스템 신뢰도 측정 및 규정할 수 있는 벤치마크 데이터셋 구축

 

라이너가 한국과학기술원(KAIST) 인터랙션 연구실(KAIST Interaction Lab 이하 KIXLAB)과 ‘AI 에이전트 시스템 신뢰도 측정 지표 및 벤치마크 개발’에 관한 공동 연구를 진행한다고 25일 밝혔다. 

 

이번 연구는 AI 에이전트 시스템 신뢰도 제고를 위해 라이너가 전문 대학 연구기관과 진행하는 첫 산학협력 프로젝트다. 라이너와 KIXLAB은 내년 2025년 3월까지 공동 연구를 진행하고, AI 에이전트 시스템의 신뢰도를 측정하고 규정할 수 있는 벤치마크 데이터셋을 구축할 예정이다.

 

 

AI 기술의 상용화를 위해서는 AI에 대한 신뢰도 제고가 관건인 만큼, 라이너와 KIXLAB이 공동으로 AI 신뢰도 측정 지표 및 벤치마크 개발을 진행하는 것은 의미가 크다. 최근 AI 기술의 활용도는 높아졌지만, AI 신뢰도에 대한 우려는 지속적으로 제기되고 있다. 일례로 구글은 지난달 새로운 검색 서비스 ‘AI 오버뷰’를 공개했지만, 출시 이후 환각 현상으로 인해 비판을 받은 바 있다.

 

라이너와 KIXLAB은 이러한 AI 신뢰 문제를 해결하기 위해 공동연구를 계획했다. 각자의 전문성과 역량을 결합해 AI 에이전트 시스템 신뢰도를 측정할 수 있는 벤치마크 데이터셋을 개발하겠다는 설명이다. 

 

지난 2023년 2월, 라이너는 AI 검색 에이전트를 선보여 화제가 됐다. 2015년부터 웹 하이라이팅 서비스를 운영하며, 사람이 직접 중요하고 유용하다고 판단하고 선별한 고품질의 데이터를 바탕으로 AI 에이전트를 고도화해 왔다. 라이너는 "우리의 축적한 자체 데이터는 AI 검색 분야에 도전하는 많은 후발주자가 확보할 수 없는 경쟁력 중 하나"라고 밝혔다. 웹에는 거짓이거나 불필요한 정보도 방대하게 존재하는데, 라이너는 축적해온 양질의 데이터를 활용해 신뢰할 수 있는 정보를 정확하고 빠르게 제공한다. 

 

라이너는 "현재 GPT-4o, 클로드, 제미나이, 라마 등 빅테크의 AI 모델이 있지만, 라이너만의 고품질 데이터를 파인튜닝해 정보탐색에 최적화한 서비스를 제공하고 있다. 우리는 신뢰할 수 있는 출처와 답변을 제공하기에, 시의성 있는 정보와 깊이 있고 학술적인 정보를 얻고자 하는 이용자의 만족도가 높다"고 언급했다. 

 

카이스트 전산학부 김주호 교수가 이끄는 KIXLAB은 대규모 온라인 시스템에서의 인간-컴퓨터 상호작용(HCI, Human-Computer Interaction) 분야에서 활발한 연구를 수행하는 권위 있는 연구실이다. KIXLAB은 올해 FAccT 학회에 제출한 논문을 통해 ‘AI 생성물로부터 정확한 정보를 파악할 수 있는 효과적인 방법’을 제안한 바 있다. KIXLAB은 AI 기술 발전과 더불어 AI 신뢰성 및 투명성 제고에 기여할 수 있는 연구를 진행하고 있다. 

 

김주호 카이스트 전산학부 교수는 “사용자들이 믿고 활용할 수 있는 AI 검색 서비스를 만들겠다는 라이너의 서비스 철학에 공감했다. LLM을 활용해 사용자에게 실질적인 가치를 제공하고자 하는 라이너의 비전이 KIXLAB의 연구방향 및 전문성과 잘 맞아 공동연구를 진행하기로 했다“고 말했다.

 

이어 그는 “기술 중심 AI의 관점을 넘어 사람 중심 AI 관점을 담아내기 위해서는 이에 맞는 평가와 벤치마크의 수립이 필수적이다. 앞으로 라이너와 함께 사용자 중심의 AI 연구를 진행함으로써, 라이너의 효용가치를 올리는 것은 물론 학문적으로도 기여할 것”이라며 기대감을 전했다. 

 

김진우 라이너 대표는 “라이너의 첫 산학협력 프로젝트를 KIXLAB과 함께 하게 돼 감회가 새롭다. 이번 프로젝트를 통해 상호 이익 증진은 물론, AI 검색 엔진에 대한 사용자의 신뢰 향상에 기여하게 되기를 바란다”며, “연구 진행과 동시에 라이너 AI 에이전트 기술은 지속적으로 고도화할 예정이며, 리서치 AI 분야에서 라이너의 선도적 위치를 한층 견고하게 다질 것”이라고 말했다.

 

헬로티 서재창 기자 |