يقترح الباحثون إطار عمل يستخدم النماذج اللغوية الكبيرة الواعية للصوت (ALLMs) كحكمين دقيقين للتحقق من وجود الأحداث المستهدفة والعلاقات الزمنية في الصوت المُولّد. يعالج هذا النهج الفجوة حيث تفشل نماذج النص إلى الصوت الحالية غالبًا في اتباع التعليمات التي تتضمن أحداث صوتية متعددة وترتيبها.
- تبني الطريقة أزواج تفضيل للتحسين المباشر للتفضيلات باستخدام تغذية راجعة من ALLM، والتي تم التحقق منها عبر معايير الاختبار والتحقق البشري.
- تم تقديم معيار سردي جديد يُدعى S3Bench لتقييم اتباع التعليمات الزمنية متعددة الأحداث.
- تُظهر التجارب تحسنًا في اكتمال الأحداث، والترتيب الزمني، ودقة اتباع التعليمات المشتركة عبر معايير الاختبار الحالية وS3Bench مع الحفاظ على جودة الصوت.
يوفر هذا العمل آلية لصحة أفضل على مستوى التعليمات في توليد النص إلى الصوت من خلال الاستفادة من التغذية الراجعة الدقيقة بدلاً من الاعتماد فقط على مقاييس التشابه العالمية.