일레븐랩스가 차세대 텍스트 음성 변환(TTS) 모델 '일레븐 v4(Eleven v4)'와 저지연 특화 모델 '일레븐 v4 터보(Eleven v4 Turbo)'를 출시했다.
일레븐 v4는 완전히 새로운 아키텍처를 기반으로 설계됐다. 독립 벤치마크 아티피셜 애널리시스(Artificial Analysis)의 프로바이더 보이스 아레나 2026년 9월 평가에서 1위를 기록했다. 텍스트에 담긴 어조와 말의 속도·인물의 성격과 맥락을 해석해 긴박하고 극적인 분위기부터 다정하거나 익살스러운 느낌까지 감정이 살아 있는 음성을 구현한다. 사용자는 자연어로 표현 방식을 지정하거나 '[웃음]'·'[영국식 억양으로 화난 듯 말함]' 등 문장 내 태그로 발화 방식·감정·음향 효과·스타일을 세밀하게 조정할 수 있다.
다자간 대화 구현 능력도 크게 개선됐다. 새로운 화자 식별 방식을 적용해 여러 차례 음성을 생성하더라도 각 목소리의 고유한 특징을 유지하며 앞선 발화에 화자가 반응하는 자연스러운 대화 흐름을 구현한다. 90개 이상의 언어를 지원하며 특히 일본어·중국어(만다린)·브라질 포르투갈어에서 두드러진 성능 향상을 보였다. 한국어 녹음 음성을 원어민 억양의 영어로 변환하면서도 원본 음성의 음높이와 음색을 유지하는 기능도 제공한다.
일레븐 v4 터보는 첫 응답 생성까지 평균 100밀리초(ms)의 추론 지연 시간을 구현해 실시간 대화 상호작용에 특화됐으며, 일레븐랩스의 대화형 에이전트 플랫폼 일레븐에이전트(ElevenAgents)와 단일 시스템으로 최적화됐다고 밝혔다.
마티 스타니셰프스키 일레븐랩스 공동창립자 겸 CEO는 "일레븐 v4는 그동안 AI에 결여되어 있던 풍부하고 표현력 넘치는 커뮤니케이션 능력을 제공한다"며 "전 세계 더 많은 시장에서 예술 창작과 에이전트 경험을 한 차원 높여줄 것"이라고 전했다.
헬로티 구서경 기자 |
