ある研究は、音声評価のための自動判事として使用される大規模オーディオ言語モデル（LALM）のプロトコルレベルのショートカットを監査し、人間の評価との高い一致が、判断が実際の音声に基づいていることを保証しないことを明らかにした。この研究は6つの判事と4つの属性にわたって、3つのデプロイメントプロトコルを検査した：フィーチャーブループリント判定、参照条件付き判定、およびペアワイズA/B比較。

  • フィーチャーブループリント判定では、誤った専門ラベルが5つの判事の感情精度を0.10以下に低下させた。
  • 連結されたA/B比較では、Qwen3-Omni-Thinkingは順序の入れ替えに関係なく頻繁に同じスロットを選択した。
  • この結果は、モデルと評価プロトコルを共同で評価しない限り、集計された一致がLALM判事の妥当性を過大評価する可能性があることを示している。

著者らは、信頼性の高い音声評価を確保するために、各モデル-プロトコルペアに一致したショートカットプローブで評価する必要があると結論づけている。