一项研究挑战了针对LLM-as-Judge评分偏差的主流输入-输出方法,通过证明偏差编码在模型的隐藏激活几何结构中。作者分析了九个基准上的七个裁判,并识别出一个低维、类型特定的子空间,其中偏差输入发生位移。

  • 基线评判输入占据紧密的激活流形,而偏差输入沿网络深度变锐的子空间移动。
  • 沿此特定子空间引导隐藏状态会因果地驱动双向评分,而随机方向产生的影响可忽略不计。
  • 对这些偏差方向特征的线性投影能准确预测裁判在三个未见基准上的失败,优于基于文本的方法。

将偏差解读为激活几何结构,在一个单一框架内统一了几何结构、因果控制和操作预测,以理解LLM评判行为。