يقترح المؤلفون إطار عمل WordVoice، الذي يحول النماذج اللغوية الكبيرة (LLM) لتحويل النص إلى كلام (TTS) من التوليد الضمني إلى نموذج صريح وقابل للتحكم بدقة. يعالج هذا عنق الزجاجة المتمثل في التحكم الخشن في الأنظمة الحالية من خلال تمكين التدخلات الأسلوبية الدقيقة والمحاذاة الزمنية الصارمة.
- قام الفريق ببناء WordVoice-5A، وهو مجموعة بيانات ثنائية اللغة بحجم 4.7k ساعة معannotations على مستوى الكلمات بخمسة أبعاد تشمل المدة، الحدود، الطاقة، النبرة، والنغمة.
- تم إدخال آلية bound-token داخل LLM لصياغة عملية "تخطيط صوتي" صريحة للتخطيط الصوتي متعدد المهام التكيفي.
- تربط وحدة تعديل صوتي دقيقة الفجوة في الدقة بين الرموز المنفصلة والموجات المستمرة لمحاذاة سمات مستوى الكلمات.
يحقق هذا الإطار تحكماً متفوقاً ومنفصلاً عبر أبعاد صوتية متعددة مع الحفاظ على استقرار توليد الصوت بدون أمثلة (zero-shot) التنافسي.