Les auteurs proposent WordVoice, un cadre qui transforme la synthèse vocale (TTS) basée sur les grands modèles de langage (LLM) d'une génération implicite à un paradigme explicite et hautement contrôlable. Cela répond au goulot d'étranglement du contrôle grossier dans les systèmes existants en permettant des interventions stylistiques précises et un alignement temporel strict.
- L'équipe a construit WordVoice-5A, un jeu de données bilingue de 4,7k heures avec des annotations au niveau des mots à cinq dimensions incluant la durée, la frontière, l'énergie, la hauteur et le ton.
- Un mécanisme de jeton lié est introduit dans le LLM pour formuler un processus explicite de "planification acoustique" pour la planification prosodique multi-tâches adaptative.
- Un module de modulation acoustique fine relie l'écart de résolution entre les jetons discrets et les ondes continues pour aligner les attributs au niveau des mots.
Le cadre atteint un contrôle supérieur et découplé sur plusieurs dimensions acoustiques tout en maintenant une stabilité de synthèse zéro-shot compétitive.