Los investigadores proponen un marco que utiliza modelos de lenguaje grandes conscientes del audio (ALLMs) como jueces de retroalimentación fina para verificar la presencia de eventos objetivo y las relaciones temporales en el audio generado. Este enfoque aborda la brecha donde los modelos existentes de texto a audio a menudo no siguen instrucciones que involucran múltiples eventos sonoros y su orden.
- El método construye pares de preferencia para la optimización directa de preferencias utilizando retroalimentación de ALLM, lo cual fue validado en benchmarks y mediante verificación humana.
- Se introduce un nuevo benchmark narrativo llamado S3Bench para evaluar el seguimiento de instrucciones temporales de múltiples eventos.
- Los experimentos demuestran mejoras en la completitud del evento, el orden temporal y la precisión conjunta del seguimiento de instrucciones en los benchmarks existentes y S3Bench mientras se mantiene la calidad del audio.
Este trabajo proporciona un mecanismo para una mayor corrección a nivel de instrucción en la generación de texto a audio aprovechando la retroalimentación fina en lugar de depender únicamente de métricas de similitud global.