Para penulis mengusulkan WordVoice, sebuah kerangka kerja yang mengubah Text-to-Speech (TTS) berbasis Large Language Model (LLM) dari generasi implisit menjadi paradigma yang eksplisit dan sangat dapat dikontrol. Ini mengatasi hambatan kontrol kasar-grained dalam sistem yang ada dengan memungkinkan intervensi gaya yang tepat dan penyetelan waktu yang ketat.
- Tim membangun WordVoice-5A, dataset dwibahasa 4.7k jam dengan anotasi tingkat kata lima dimensi termasuk durasi, batas, energi, pitch, dan nada.
- Mekanisme bound-token diperkenalkan dalam LLM untuk merumuskan proses "perencanaan akustik" eksplisit untuk perencanaan prosodi multi-tugas adaptif.
- Modul modulasi akustik halus menjembatani kesenjangan resolusi antara token diskrit dan gelombang kontinu untuk menyelaraskan atribut tingkat kata.
Kerangka kerja ini mencapai kontrol yang unggul dan terdekoupling atas beberapa dimensi akustik sambil mempertahankan stabilitas sintesis zero-shot yang kompetitif.