本研究报告了Gemini模型（2.5 Flash、3.5 Flash和3.1 Pro）作为音频裁判的经验可靠性，它们直接从原始立体声波形对全双工代理对话进行评分。

  • Gemini 2.5 Flash作为基准模型，在8个生产维度的209个立体声会话中，与三位校准过的人类评分员进行了验证。
  • 在8个维度中的5个上，LALM与人类之间的Spearman rho与成对的人与人之间的rho差异不超过0.07，且在8个维度中有7个的置信区间重叠。
  • Gemini 3.5 Flash将简单一致性提升至8个维度，而尽管3.1 Pro在等级相关性方面与人类相当，但其对多个维度的评分明显低于人类。
  • LALM在48个缺陷-维度单元中的45个中表现出与人类相同或更高的敏感性，但大多数情况属于统计功效不足的零假设情形，而非已证实的等效性。
  • 对于所评估的节奏，人类评分的成本比等效的LALM工作量高出约两个数量级。

数据为在证据支持的维度上将LALM作为替代者或第四位评分员部署提供了可辩护的经验基础，尽管模型替换需要特定的校准验证。