研究者たちは、生成されたオーディオ内の対象イベントの存在と時間的関係を検証するために、オーディオ対応大規模言語モデル（ALLMs）を細粒度な審判として使用するフレームワークを提案する。このアプローチは、既存のテキストからオーディオへのモデルが複数の音響イベントとその順序に関する指示に従う際にしばしば失敗するというギャップに対処する。

  • ALLMフィードバックを使用して直接選択最適化のための好ましさペアを構築する方法は、ベンチマークおよび人間の検証を通じて検証された。
  • 複数イベントの時間的指示追従を評価するために、S3Benchという新しいナラティブベンチマークが導入された。
  • 実験により、既存のベンチマークとS3Bench全体で、イベントの完全性、時間的順序、および結合指示追従精度が改善され、オーディオ品質は維持されたことが示された。

この研究は、グローバルな類似度指標に依存するのではなく細粒度フィードバックを活用することで、テキストからオーディオへの生成におけるより良い指示レベルの正しさを提供する。