한국과학기술원(KAIST)은 산업및시스템공학과 박찬영 교수 연구팀이 네이버와 공동으로 ‘협업 필터링’(Collaborative filtering)을 통해 대형언어모델(LLM)의 상품 추천 성능을 획기적으로 높일 수 있는 기술을 개발했다고 17일 밝혔다.
LLM은 챗GPT와 같이 사람의 개입 없이 임무를 수행할 수 있는 생성형 AI의 기반이 되는 기술이다. 최근 전자상거래 플랫폼 등에서 LLM을 이용한 상품 추천 서비스가 주목받고 있다. ‘영화 극한직업, 범죄도시1, 범죄도시2를 봤을 때 다음 시청할 영화는 무엇인가?’라고 소비자가 상품 이름을 텍스트로 나열해 LLM에 입력하면 답을 제시하는 방식으로 작동한다.
하지만 기존 서비스는 LLM이 추천을 목적으로 학습·설계돼 있지 않아 저조한 성능을 보인다. 상품 추천을 위해 ‘파인 튜닝’(사전 학습된 LLM을 특정 작업이나 데이터셋에 맞게 최적화하는 과정)을 거쳐야 하지만 학습과 추론에 시간과 비용이 많이 든다는 한계가 있다.
연구팀은 LLM을 직접 학습하는 대신 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보를 활용하는 ‘협업 필터링’ 방식으로 신경망을 경량화했다. 협업 필터링은 유사 사용자 기반 추천, 유사 상품 기반 추천으로 이뤄진다. 목표 사용자와 비슷한 이력을 갖는 사용자가 상호작용한 상품을 추천하거나, 목표 사용자가 상호작용한 특정 상품과 유사한 상품을 추천하는 방식이다.
경량화된 신경망을 통해 기존 연구보다 학습과 추론 속도를 각각 253%, 171% 높이는 데 성공했다. 상품 추천에서도 평균 12% 향상된 성능을 보였다. 특히 다른 상품군의 쇼핑몰에서 학습한 모델로 현재의 쇼핑몰에서 추천을 수행하는 다중 도메인 상품 추천에서 42%, 사용자의 소비 이력이 풍부하지 않은 상품 추천에서도 평균 20% 향상된 성능을 달성했다.
박찬영 교수는 “기존 연구들이 간과한 사용자와 상품 간 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법”이라며 “이 기술을 바탕으로 대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 추천 서비스를 개발할 수 있을 것”이라고 말했다.
KAIST 산업및시스템공학과 김세인 박사과정 학생과 KAIST 전산학부 강홍석 학사과정 학생이 공동 제1 저자로 참여한 이번 연구 결과는 권위 있는 국제학술대회 ‘국제 데이터 마이닝 학회’에서 내달 발표될 예정이다.
헬로티 이창현 기자 |
