本文强调了在构建用于LLM-as-judge偏见研究的合成语料库时存在结构性故障，其中共享的解码预算参数可能会截断生成的幻觉答案。这种截断导致法官选择准确率出现32分的跨语言崩溃，而这一现象只能通过手动检查原始生成内容来发现，而非通过聚合统计检查。

  • 评判和生成调用之间的共享参数将一个生产者的幻觉答案截断为几个词。
  • 产生的项目造成了统计上稳健的影响：一名法官的选择准确率出现32分的跨语言崩溃，从N=50到N=500均得到复现。
  • 第二个测量的偏见（Markdown格式偏好）被同样的故障所扭曲，其大小和符号随刺激长度而变化。
  • 作者将其框架化为测试预言机问题，指出通过确定性扰动黄金答案构建的语料库允许通过字符串比较以100%的准确率检测此类故障。

作者为大多数当代多语言LLM-as-judge语料库所描述的无预言机环境中的分析师提出了一种验证协议。