테크노트 KAIST, 억양·감정 표현하는 언어모델 ‘스피치SSM’ 개발

한국과학기술원(KAIST)은 전기·전자공학부 노용만 교수 연구팀의 박세진 박사과정생이 장시간 음성 생성이 가능한 음성언어모델(SLM·Spoken Language Model) ‘스피치SSM’을 개발했다고 3일 밝혔다. 이번 연구는 권위 있는 국제머신러닝학회(ICML) 논문 중 1%만 받을 수 있는 구두 발표 대상으로 선정됐다. SLM은 대형언어모델(LLM)과 달리 텍스트가 아닌 음성을 학습함으로써 텍스트에 담을 수 없는 사람의 억양·감정 등 비언어적 정보까지 이해해 정보를 생성하는 기술이다. 텍스트 기반 언어 모델의 한계를 넘어서는 차세대 기술로 주목받고 있지만, 장시간 일관된 음성을 생성하기 어려워 팟캐스트, 오디오북, 음성비서 등에는 적용하기 어려웠다. 음성 정보를 담기 위해 ‘음성 토큰’(음성을 잘게 쪼갠 데이터) 형태로 만드는데, 음성 토큰이 많아질수록 고해상도를 유지하기 위한 메모리 소비가 급증하기 때문이다. 앞의 정보를 집중해 기억하는 메모리의 길이에 한계가 있어, 장시간 이용할 경우 주제의 일관성이 무너지는 문제가 있었다. 연구팀은 최근 정보에 집중하는 ‘어텐션 층’(attention layer)에 전체 이야기의 흐름, 즉 장기적인 맥락을 오래 기

• 이창현 기자
• 2025-07-03 13:25