लेखकों ने WordVoice का प्रस्ताव रखा है, एक फ्रेमवर्क जो बड़े भाषा मॉडल (LLM) पर आधारित टेक्स्ट-टू-स्पिच (TTS) को अंतर्निर्मित जनरेशन से स्पष्ट और उच्च रूप से नियंत्रणीय पैराडाइम में बदलता है। यह मौजूदा सिस्टम में बारीक नियंत्रण की बाधा को दूर करता है, सटीक शैलीगत हस्तक्षेप और कठोर समय समन्वय को सक्षम बनाकर।
- टीम ने WordVoice-5A निर्मित किया, जो 4.7k घंटे का द्विभाषी डेटासेट है जिसमें अवधि, सीमा, ऊर्जा, पिच और टोन सहित पांच आयामी शब्द-स्तर एनोटेशन शामिल हैं।
- LLM के भीतर एक bound-token तंत्र पेश किया गया है जो अनुकूली बहु-कार्य प्रोसोडिक योजना के लिए स्पष्ट "अकोस्टिक प्लानिंग" प्रक्रिया को परिभाषित करने के लिए।
- एक सूक्ष्म अकोस्टिक मॉड्यूलेशन मॉड्यूल असतत टोकन और सतत वेवफॉर्म के बीच रिज़ॉल्यूशन अंतराल को पाटता है ताकि शब्द-स्तर विशेषताओं को संरेखित किया जा सके।
यह फ्रेमवर्क कई अकोस्टिक आयामों पर श्रेष्ठ, वियुक्त नियंत्रण प्राप्त करता है जबकि प्रतिस्पर्धी zero-shot सिंथेसिस स्थिरता बनाए रखता है।