Os autores propõem o WordVoice, um framework que transforma a Síntese de Fala a partir de Texto (TTS) baseada em Modelos de Linguagem Grande (LLM) de uma geração implícita para um paradigma explícito e altamente controlável. Isso aborda o gargalo do controle de granulação grossa em sistemas existentes, permitindo intervenções estilísticas precisas e alinhamento temporal rigoroso.

  • A equipe constrói o WordVoice-5A, um conjunto de dados bilíngue de 4,7k horas com anotações em nível de palavra em cinco dimensões, incluindo duração, limite, energia, tom e entonação.
  • Um mecanismo bound-token é introduzido dentro do LLM para formular um processo explícito de "planejamento acústico" para o planejamento prosódico adaptativo multitarefa.
  • Um módulo de modulação acústica de granulação fina preenche a lacuna de resolução entre tokens discretos e formas de onda contínuas para alinhar atributos em nível de palavra.

O framework alcança um controle superior e desacoplado sobre múltiplas dimensões acústicas enquanto mantém estabilidade competitiva na síntese zero-shot.