한 연구는 음성 평가를 위한 자동 판사로 사용되는 대규모 오디오-언어 모델(LALM)의 프로토콜 수준 단축 경로를 감사하여, 인간 평가와의 높은 일치율이 판단이 실제 오디오에 기반함을 보장하지 않는다는 사실을 드러냈다. 이 연구는 6개의 판사와 4가지 속성에 걸쳐 세 가지 배포 프로토콜을 조사했다: 피처 블루프린트 판정, 참조 조건부 판정, 및 쌍별 A/B 비교.

  • 피처 블루프린트 판정에서 잘못된 전문가 라벨은 5개 판사의 감정 정확도를 0.10 이하로 낮췄다.
  • 연결된 A/B 비교에서 Qwen3-Omni-Thinking은 순서 변경과 관계없이 자주 동일한 슬롯을 선택했다.
  • 이 결과는 모델과 평가 프로토콜을 공동으로 평가하지 않는 한, 집계된 일치율이 LALM 판사의 타당성을 과대평가할 수 있음을 나타낸다.

저자들은 신뢰할 수 있는 음성 평가를 보장하기 위해 각 모델-프로토콜 쌍이 일치하는 단축 경로 탐지기로 평가되어야 한다고 결론짓는다.