审计LLM-as-Judge的可靠性：法官升级并非可互换

本文将评估器替换歧义视为测量效度问题，证明即使候选回复保持不变，LLM-as-judge的分数也会发生偏移。在四个判决数据集中，作者比较了将Qwen3密集法官从1.7B扩展到32B参数，以及在已发布的MiniMax M2-M2.7 API之间切换。

• 只有从Qwen3 1.7B升级到4B提供了稳健的相邻增益；其他升级不可互换。
• MiniMax的相邻版本发布并未带来测量稳定性的持续改进。
• 更强的法官减少了但未能消除位置和冗长性偏差。
• 当错误相关时，重复采样陪审团的价值有限。
• 结构化辩论可以显著改变决策，但归因需要解析器和回退日志。

作者认为，LLM-as-judge报告应包括数据集切片、偏差探针、误差依赖性估计和协议审计轨迹，以确保可靠性。