Les chercheurs proposent un cadre utilisant des grands modèles linguistiques sensibles au son (ALLMs) comme juges fins pour vérifier la présence d'événements cibles et les relations temporelles dans l'audio généré. Cette approche comble le manque où les modèles texte-vers-audio existants échouent souvent à suivre des instructions impliquant plusieurs événements sonores et leur ordre.
- La méthode construit des paires de préférence pour l'optimisation directe des préférences en utilisant le retour ALLM, ce qui a été validé sur des benchmarks et par vérification humaine.
- Un nouveau benchmark narratif appelé S3Bench est introduit pour évaluer le respect d'instructions temporelles multi-événements.
- Les expériences démontrent des améliorations de la complétude des événements, de l'ordre temporel et de la précision du suivi conjoint des instructions sur les benchmarks existants et S3Bench tout en maintenant la qualité audio.
Ce travail fournit un mécanisme pour une meilleure correction au niveau des instructions dans la génération texte-vers-audio en exploitant un retour fin plutôt que de s'appuyer uniquement sur des métriques de similarité globale.