저자들은 대규모 언어 모델(LLM) 기반 텍스트 음성 변환(TTS)을 암시적 생성에서 명시적이고 높은 제어 가능성이 있는 패러다임으로 전환하는 프레임워크인 WordVoice를 제안합니다. 이는 기존 시스템의 거친 수준의 제어 병목을 해결하여 정밀한 스타일 개입과 엄격한 시간 정렬을 가능하게 합니다.
- 팀은 길이, 경계, 에너지, 피치, 톤을 포함한 5차원 단어 수준 주석이 있는 4.7k시간 양국어 데이터셋인 WordVoice-5A를 구축했습니다.
- 적응형 다중 작업 운율 계획을 위한 명시적인 "음향 계획" 프로세스를 수립하기 위해 LLM 내에 바운드 토큰 메커니즘이 도입되었습니다.
- 세분화된 음향 변조 모듈은 이산 토큰과 연속 파형 사이의 해상도 격차를 해소하여 단어 수준 속성을 정렬합니다.
이 프레임워크는 경쟁력 있는 제로샷 합성 안정성을 유지하면서 여러 음향 차원에 걸쳐 분리된 제어를 달성합니다.