에이프리카는 AI Summit Seoul 2024에서 인공지능 연구소 주철휘 소장의 세션발표를 통해 폐쇄망 환경에서 고도화된 RAG 및 LLMOps 구축 방안을 제시했다.
주철휘 소장은 지난 11일 '기업 폐쇄망에서의 Private LLM 기반 Agentic RAG 구축'이라는 제목으로 세션 발표를 진행했다. 이번 발표에서 주철휘 소장은 고객 데이터로 파인튜닝된 검색 및 생성용 Private LLM들이 벡터 DB와 통합하여 AI 모델의 정확도와 효율성을 크게 향상시키는 방법론을 소개했다. 특히, 폐쇄망 환경에서 최적화된 LLM 기반 기술을 통해 제한된 인프라 상황에서도 고성능 AI의 구축 및 운영이 가능하다는 점을 강조했다.
발표에서는 Agentic RAG 기술을 통해 기존 RAG의 기능을 고도화하는 방안이 강조되었다. Agentic RAG는 단순히 검색 결과를 제공하는 것을 넘어, 탐색적 검색, 동적 프롬프트 생성, 외부 툴 통합 등을 활용하여 더욱 지능적이고 발전된 워크플로우를 지원한다.
특히, 기존 RAG에서 구현이 어려웠던 회고 기반 복합 질의 처리와 외부 툴을 활용한 동적 데이터 접속 기능을 통해, 보다 확장된 지식 기반을 대상으로 탐색적이고 심층적인 사고가 요구되는 문제들을 해결한다. 주철휘 소장은 이러한 기술을 통해 AI 모델의 정확도를 향상시킨 실제 사례를 소개하며, Agentic RAG가 기존 워크플로우의 한계를 어떻게 극복할 수 있는지 구체적으로 설명했다.
주철휘 소장은 에이프리카의 LLMOps 솔루션 ‘치타’를 소개하며, 데이터 전처리부터 파인튜닝, 모델 서빙, 추론 모니터링까지 LLM 기반 개발·운영의 전체 라이프사이클을 효율적으로 통합 관리할 수 있는 방안을 제시했다. 특히, 최적의 LLM 파인튜닝을 위한 파이프라인 지원과 오토스케일링 기술을 통해 예상치 못한 트래픽 증가에도 안정적인 서비스를 제공하고, 실시간 LLM 추론 현황을 모니터링함으로써 대규모 기업에서도 치타를 통해 안정적이고 효율적인 모델 서빙 관리가 가능하다는 점을 강조했다.
주철휘 소장은 발표를 마무리하며, “Private LLM, Agentic RAG, 그리고 LLMOps를 기반으로, 폐쇄망 환경에서도 고객의 다양한 요구에 맞는 최적화된 정보 처리 기술을 개발하고, 최신 AI 기술을 빠르게 반영하여 최고 수준(SOTA)의 성능을 안정적으로 제공하기 위해 노력하겠다”고 밝혔다.
한편, 국내 최대 AI 전문 행사로 꼽히는 AI Summit Seoul 2024에서 에이프리카는 주철휘 소장의 세션 발표와 함께 부스 운영을 통해서도 큰 주목을 받았다. 에이프리카의 부스는 행사 기간 내내 많은 참가자들로 붐볐으며, 폐쇄망 환경에서의 LLM 구축과 운영 방법에 대한 질문이 끊이지 않았다. 또한, 치타와 가젤 RAG를 활용한 구체적인 활용 방법을 소개하는 데모 시연도 진행되어 관람객들의 높은 관심을 이끌어냈다.
에이프리카 영업을 총괄하는 박병준 상무는 "이번 AI Summit Seoul 2024를 통해 폐쇄망 환경에서도 안정적이고 효율적인 AI 운영을 가능하게 하는 LLMOps와 RAG 솔루션의 가능성을 널리 알릴 수 있었다"며, "앞으로도 기업의 요구를 충족시키고 엔터프라이즈 AI에 최적화된 플랫폼으로 자리 잡기 위해 지속적으로 노력하겠다"고 밝혔다.
에이프리카는 이번 AI Summit Seoul 2024를 통해 치타와 가젤 RAG의 기술적 우수성과 실질적 활용 가능성을 성공적으로 입증하며, 엔터프라이즈 AI 분야에서의 성장 잠재력을 다시 한번 확인했다.
헬로티 서재창 기자 |
