一项研究审计了用作语音评估自动裁判的大型音频语言模型（LALMs）中的协议级捷径，揭示出与人类评分的高度一致并不能保证判决是基于实际音频的。该研究考察了三种部署协议：特征蓝图裁判、参考条件裁判以及针对六名裁判和四个属性的成对 A/B 比较。

  • 在特征蓝图裁判中，错误的专家标签导致其中五名裁判的情绪准确率降至 0.10 或更低。
  • 在拼接的 A/B 比较中，Qwen3-Omni-Thinking 经常选择相同的槽位，无论顺序如何交换。
  • 研究结果表明，除非对模型和评估协议进行联合评估，否则总体一致性可能会夸大 LALM 裁判的有效性。

作者得出结论，每一对模型-协议都应使用匹配的捷径探针进行评估，以确保可靠的语音评估。