Исследователи предлагают фреймворк, который использует аудио-ориентированные большие языковые модели (ALLM) в качестве судей для детальной проверки наличия целевых событий и временных отношений в сгенерированном аудио. Этот подход устраняет пробел, при котором существующие модели преобразования текста в аудио часто не следуют инструкциям, включающим несколько звуковых событий и их порядок.
- Метод формирует пары предпочтений для прямой оптимизации предпочтений с использованием обратной связи от ALLM, что было подтверждено на бенчмарках и при проверке людьми.
- Вводится новый нарративный бенчмарк под названием S3Bench для оценки следования инструкциям по временным отношениям множественных событий.
- Эксперименты демонстрируют улучшения в полноте событий, временном порядке и точности совместного выполнения инструкций на существующих бенчмарках и S3Bench при сохранении качества аудио.
Эта работа предоставляет механизм для повышения корректности на уровне инструкций в генерации текста в аудио за счет использования детализированной обратной связи вместо полагания исключительно на глобальные метрики сходства.