비큐AI가 자사 뉴스 검색증강생성(RAG) 모델 ‘RDP1’이 글로벌 신뢰도 평가 지표인 RAGAS(Retrieval-Augmented Generation Assessment)에서 업계 평균을 크게 웃도는 성과를 기록했다고 29일 밝혔다. 이번 결과는 RAG 시스템의 성능뿐 아니라 실제 산업 현장에서의 적용 가능성을 보여주는 지표로 평가된다.
비큐AI는 이번 2차 RAGAS 평가에서 RDP1이 문맥 정확도 1.0000점, 문맥 회수율 0.9689점, 사실성 0.9287점 등 전 항목에서 0.9 이상의 점수를 획득했다고 설명했다. 특히 문맥 정확도 만점은 질문에 대해 검색된 문서가 정확히 핵심 정보를 담고 있음을 보여주는 결과로, 검색 및 청킹 전략의 정교화가 성능 향상에 실질적 영향을 미쳤다는 것을 입증한다.
이 모델은 벤치마크 기준으로 업계 상위 5~10% 수준의 고성능 RAG 시스템으로 평가되며, RAG 기반 AI 시스템의 기술적 성숙도를 보여줬다는 평가를 받고 있다. RAGAS는 마이크로소프트, AWS, 메타, 오픈AI 등 글로벌 빅테크들이 활용하는 신뢰도 검증 지표로, 검색 문서의 품질과 생성 답변의 사실성을 함께 평가하는 것이 특징이다.
비큐AI는 이번 성능 향상을 위해 다양한 요소를 단계적으로 개선했다. 문서 구조 개선과 청킹 전략의 고도화, 임베딩 모델 및 검색 알고리즘의 정밀 튜닝, 그리고 LLM(대규모 언어모델)을 최신 고속 경량 모델인 Gemini 2.5 Flash로 전환했다. 이를 통해 답변 생성 속도와 정합성 모두에서 개선 효과를 얻으며 전체 평균 RAGAS 점수 0.9516을 달성했다.
비큐AI는 RDP1의 고성능이 단순한 연구 성과가 아닌, 실제 산업 현장에 적용 가능한 실질적인 신뢰도 수준에 도달했다는 점에서 의미가 깊다고 밝혔다. 앞서 클로즈 베타 테스트(CBT)에서도 평균 0.9 이상의 점수를 기록하며 업계의 관심을 끌었다.
특히 RDP1은 단순한 생성 품질에 그치지 않고, 문서 기반의 신뢰성과 환각(hallucination) 최소화에 집중해 설계됐다. 산업 내 민감한 정보 흐름에서도 정확한 질의응답이 가능한 인프라로 기능하면서, 실시간 뉴스 기반 분석, 투자 포트폴리오 조정, 개인화 뉴스 요약 등 다양한 활용처를 상정하고 있다.
비큐AI 관계자는 “RDP1은 AI 모델 학습 및 추론에 필요한 데이터셋 공급 사업과 AI 에이전트 플랫폼 및 디바이스에 데이터를 연결하는 서비스 파이프라인 사업 양축을 중심으로 산업별 확장을 가속화하고 있다”며 “AI 기반 금융, 통신, 인포테인먼트 등에서 실증 프로젝트를 진행 중이며, 그 핵심에 RDP1이 있다”고 밝혔다.
이어 “RDP1은 단순 응답 생성이 아닌, 실제 비즈니스 현장에서 사용할 수 있는 고신뢰 뉴스 AI 인프라로 자리잡았다”며 “8월에는 티저 영상과 B2B 서비스를 공식 공개하고, 다양한 글로벌 데이터와 연동한 산업 맞춤형 LLM+RAG 시스템으로 진화해 나갈 것”이라고 덧붙였다.
헬로티 서재창 기자 |
