NC AI가 음성·언어 기술 학회인 ‘INTERSPEECH 2025’에서 새로운 몬스터 사운드 생성·변환 AI 기술을 공개한다. 인터스피치는 국제 음성커뮤니케이션협회(ISCA)가 주관하는 세계 최대 규모의 음성·언어 기술 학회로, 오는 8월 17일부터 21일까지 네덜란드 로테르담에서 열리며, 올해 주제는 ‘공정하고 포용적인 음성 과학과 기술(Fair and Inclusive Speech Science and Technology)’이다.
NC AI는 이번 학회에서 몬스터 사운드에 특화한 고품질 음색 변환 모델 구조와 학습 기법을 다룬 논문, 그리고 이를 웹 기반 실시간 변환 시스템으로 구현한 사례 논문 등 총 2편을 발표한다. 현장 부스에서는 관람객이 직접 목소리나 사운드를 입력하면 특정 몬스터의 울음이나 포효로 즉시 변환되는 체험형 데모도 제공한다. 현장 참석이 어려운 이들을 위해 온라인 체험 페이지도 함께 운영될 예정이다.
이번 기술은 MMORPG 게임을 비롯한 대규모 콘텐츠 제작 환경에서 몬스터 사운드 제작 방식을 획기적으로 개선할 수 있다는 평가를 받는다. CD 수준의 고해상도(44.1kHz) 분석을 통해 거친 숨소리, 포효, 웃음 등 몬스터 특유의 비언어적 요소까지 세밀하게 재현한다. 목소리의 ‘내용’과 ‘스타일’을 동시에 인식해 금속성 울림이나 두꺼운 숨소리 같은 질감을 자연스럽게 구현하며, 0.005초 단위로 강약 변화를 반영해 기계음이 아닌 실제 생물의 울음처럼 생생한 소리를 만들어낸다.
이 기술은 기존에 사운드 디자이너가 몬스터와 상황별 효과음을 일일이 제작해야 했던 방식을 크게 단축시킨다. 인간 음성을 기반으로 주파수 스펙트럼을 확장해 몬스터 특유의 복잡한 음색을 정교하게 구현할 수 있으며, 공격성, 위압감, 유쾌함 등 캐릭터의 성격을 반영한 스타일 조정도 가능하다. 같은 몬스터라도 상황에 따라 완전히 새로운 음향을 자동으로 생성할 수 있다는 점에서 창작 과정의 효율성을 크게 높인다.
NC AI가 이러한 성과를 거둘 수 있었던 기반은 방대한 게임 오디오 데이터다. NC AI Audio AI팀은 엔씨소프트 사운드센터와 협업해 수년간 축적된 대규모 오디오 데이터를 정밀하게 태깅하고, 음색·공기감·노이즈·분위기 등 다양한 특성으로 세분화했다. 또한 전문 음향 변형 툴을 활용해 현실 녹음으로 구현하기 어려운 가상의 몬스터 사운드를 증강 데이터로 추가해 모델 학습의 다양성과 안정성을 확보했다. 이 데이터 전략은 지난 춘계 한국음향학회에서 소개돼 학계와 업계로부터 긍정적인 평가를 받았다.
테스트 결과, 이번 모델은 DDDM-VC, Diff-HierVC, Free-VC 등 최신 음색 변환 모델을 능가하는 성능을 기록했다. 음질과 자연스러움, 음색 유사도, 발화 내용 보존성 등 주관적·객관적 평가에서 모두 우수한 성적을 거두며 연구 경쟁력을 입증했다.
이 기술은 NC AI의 생성형 사운드 이펙트(SFX) 저작 툴 ‘Sound Palette’에도 적용된다. 사용자가 원하는 분위기와 음색을 입력하면 즉시 수백 가지 변주 사운드를 생성하는 기능으로, 게임뿐 아니라 영화, 광고, XR, 메타버스 등 다양한 콘텐츠 제작 현장에서 활용 범위를 확대하고 있다.
NC AI는 이번 성과를 바탕으로 ‘독자 AI 파운데이션 모델 프로젝트’ 등 국가 전략 사업에서 연구 역량을 공식적으로 인정받았으며, 국내 멀티모달 AI 분야에서 독보적인 입지를 강화하고 있다. INTERSPEECH 2025 발표와 데모 시연은 글로벌 연구자와 산업계 관계자들과의 협업 확대 기회가 될 전망이다. 회사는 연구 성과와 데모 영상을 공식 채널을 통해 공개하고, 해외 시장 진출과 상용화에도 속도를 낼 계획이다.
조남현 NC AI Audio AI 팀장은 “이번 몬스터 사운드 변환 기술은 방대한 데이터와 첨단 모델링, 사운드 디자인 전문성이 결합한 결과물”이라며 “앞으로도 AI를 통해 창작자의 상상력을 현실로 구현하고, 디지털 콘텐츠 산업 전반에 새로운 오디오 경험을 제공하는 데 기여하겠다”고 말했다.
헬로티 서재창 기자 |
