연구자들은 생성된 오디오에서 대상 이벤트의 존재와 시간적 관계를 검증하기 위해 오디오 인식 대형 언어 모델(ALLMs)을 세분화된 심판으로 사용하는 프레임워크를 제안합니다. 이 접근 방식은 기존 텍스트-오디오 모델이 여러 사운드 이벤트 및 그 순서와 관련된 지시를 따르는 데 종종 실패하는 격차를 해결합니다.
- ALLM 피드백을 사용하여 직접 선호도 최적화를 위한 선호도 쌍을 구성하는 방법은 벤치마크 및 인간 검증을 통해 검증되었습니다.
- 다중 이벤트 시간적 지시 따름을 평가하기 위해 S3Bench라는 새로운 내러티브 벤치마크가 도입되었습니다.
- 실험은 기존 벤치마크와 S3Bench 전반에 걸쳐 이벤트 완전성, 시간적 순서 및 결합 지시 따름 정확도가 개선되었음을 보여주면서 오디오 품질은 유지되었습니다.
이 작업은 전역 유사도 지표에만 의존하는 대신 세분화된 피드백을 활용하여 텍스트-오디오 생성에서 더 나은 지시 수준 정확성을 제공합니다.