Авторы предлагают WordVoice, фреймворк, который преобразует генерацию речи из текста с помощью больших языковых моделей (LLM) от неявного порождения к явному, высококонтролируемому парадигме. Это решает проблему узкого места грубого контроля в существующих системах, обеспечивая точные стилистические вмешательства и строгую временную синхронизацию.
- Команда создала WordVoice-5A, двуязычный датасет объемом 4,7 тыс. часов с пятимерными пословными аннотациями, включающими длительность, границы, энергию, высоту тона и тон.
- В рамках LLM введен механизм bound-token для формирования явного процесса «акустического планирования» для адаптивного многозадачного просодического планирования.
- Модуль акустической модуляции высокого разрешения устраняет разрыв в разрешении между дискретными токенами и непрерывными волновыми формами для выравнивания пословных атрибутов.
Фреймворк обеспечивает превосходный, разделенный контроль над несколькими акустическими измерениями, сохраняя при этом конкурентоспособную стабильность синтеза с нулевым примером (zero-shot).