作者提出了WordVoice,一个将基于大型语言模型(LLM)的文本转语音(TTS)从隐式生成转变为显式、高度可控范式的框架。这通过实现精确的风格干预和严格的时间对齐,解决了现有系统中粗粒度控制的瓶颈。
- 团队构建了WordVoice-5A,这是一个包含4.7k小时的双语数据集,具有五维词级标注,包括时长、边界、能量、音高和声调。
- 在LLM内部引入了bound-token机制,以制定显式的“声学规划”过程,用于自适应多任务韵律规划。
- 一个细粒度声学调制模块弥合了离散token与连续波形之间的分辨率差距,以对齐词级属性。
该框架在保持具有竞争力的零样本(zero-shot)合成稳定性的同时,实现了对多个声学维度的优越、解耦控制。