审计LLM作为裁判的可靠性表明，裁判升级并非可互换

一项研究将评估者替换歧义视为测量效度问题，证明即使候选人的回答保持不变，LLM-as-judge 的分数也会发生偏移。作者比较了四个判决数据集上的两条升级路径：将 Qwen3 密集裁判从 1.7B 扩展到 32B 参数，以及在 MiniMax M2-M2.7 发布的 API 之间迁移。

• 只有从 Qwen3 1.7B 到 4B 的升级提供了稳健的相邻增益，而 MiniMax 的相邻版本发布则没有。
• 更强的裁判减少了但并未消除位置和冗长性偏差。
• 当错误相关时，重复样本陪审团增加的价值很小。
• 结构化辩论可以大幅改变决策，但如果没有解析器和回退日志，这些变化不能归因于审议过程。

作者认为，LLM-as-judge 报告应包括数据集切片、偏差探针、误差相关性估计和协议审计轨迹，以确保可靠性。