研究人员提出了一种框架，使用音频感知大型语言模型（ALLMs）作为细粒度裁判，以验证生成音频中目标事件的存在和时间关系。这种方法解决了现有文本到音频模型经常无法遵循涉及多个声音事件及其顺序的指令的问题。

  • 该方法利用 ALLM 反馈构建用于直接偏好优化的偏好对，并在基准测试和人工验证中得到了验证。
  • 引入了一个新的叙事基准 S3Bench，用于评估多事件时间指令遵循。
  • 实验表明，在保持音频质量的同时，现有基准和 S3Bench 上的事件完整性、时间顺序和联合指令遵循准确性均有所提高。

这项工作通过利用细粒度反馈而不是仅依赖全局相似度指标，为文本到音频生成中的更好指令级正确性提供了机制。