Peneliti mengusulkan kerangka kerja yang menggunakan model bahasa besar sadar audio (ALLMs) sebagai hakim halus untuk memverifikasi keberadaan peristiwa target dan hubungan temporal dalam audio yang dihasilkan. Pendekatan ini mengatasi kesenjangan di mana model teks-ke-audio yang ada sering gagal mengikuti instruksi yang melibatkan beberapa peristiwa suara dan urutannya.
- Metode ini membangun pasangan preferensi untuk optimisasi preferensi langsung menggunakan umpan balik ALLM, yang telah divalidasi pada benchmark dan melalui verifikasi manusia.
- Benchmark naratif baru bernama S3Bench diperkenalkan untuk mengevaluasi pengikut instruksi temporal multi-peristiwa.
- Eksperimen menunjukkan peningkatan dalam kelengkapan peristiwa, urutan temporal, dan akurasi pengikut instruksi gabungan di seluruh benchmark yang ada dan S3Bench sambil mempertahankan kualitas audio.
Karya ini menyediakan mekanisme untuk kebenaran tingkat instruksi yang lebih baik dalam generasi teks-ke-audio dengan memanfaatkan umpan balik halus daripada hanya mengandalkan metrik kesamaan global.