Los autores proponen WordVoice, un marco que transforma la síntesis de voz a partir de texto (TTS) basada en Modelos de Lenguaje Grande (LLM) de una generación implícita a un paradigma explícito y altamente controlable. Esto aborda el cuello de botella del control de grano grueso en los sistemas existentes al permitir intervenciones estilísticas precisas y una alineación temporal estricta.
- El equipo construye WordVoice-5A, un conjunto de datos bilingüe de 4,7k horas con anotaciones a nivel de palabra en cinco dimensiones que incluyen duración, límite, energía, tono y entonación.
- Se introduce un mecanismo bound-token dentro del LLM para formular un proceso explícito de "planificación acústica" para la planificación prosódica adaptativa multitarea.
- Un módulo de modulación acústica de grano fino cierra la brecha de resolución entre tokens discretos y formas de onda continuas para alinear los atributos a nivel de palabra.
El marco logra un control superior y desacoplado sobre múltiples dimensiones acústicas mientras mantiene una estabilidad competitiva en la síntesis zero-shot.