일반뉴스 에이프리카, 폐쇄망 환경서 RAG 및 LLMOps 구축 방안 제시

에이프리카는 AI Summit Seoul 2024에서 인공지능 연구소 주철휘 소장의 세션발표를 통해 폐쇄망 환경에서 고도화된 RAG 및 LLMOps 구축 방안을 제시했다. 주철휘 소장은 지난 11일 '기업 폐쇄망에서의 Private LLM 기반 Agentic RAG 구축'이라는 제목으로 세션 발표를 진행했다. 이번 발표에서 주철휘 소장은 고객 데이터로 파인튜닝된 검색 및 생성용 Private LLM들이 벡터 DB와 통합하여 AI 모델의 정확도와 효율성을 크게 향상시키는 방법론을 소개했다. 특히, 폐쇄망 환경에서 최적화된 LLM 기반 기술을 통해 제한된 인프라 상황에서도 고성능 AI의 구축 및 운영이 가능하다는 점을 강조했다. 발표에서는 Agentic RAG 기술을 통해 기존 RAG의 기능을 고도화하는 방안이 강조되었다. Agentic RAG는 단순히 검색 결과를 제공하는 것을 넘어, 탐색적 검색, 동적 프롬프트 생성, 외부 툴 통합 등을 활용하여 더욱 지능적이고 발전된 워크플로우를 지원한다. 특히, 기존 RAG에서 구현이 어려웠던 회고 기반 복합 질의 처리와 외부 툴을 활용한 동적 데이터 접속 기능을 통해, 보다 확장된 지식 기반을 대상으로 탐색적이고 심층적

• 서재창 기자
• 2024-12-22 23:07