ある研究は、LLM-as-Judgeのスコアリング・バイアスに対する従来の入出力アプローチに挑戦し、バイアスがモデルの隠れ活性化幾何学に符号化されていることを実証した。著者は9つのベンチマークにわたる7人の審査員を分析し、バイアスのある入力が変位する低次元でタイプ固有の部分空間を特定した。

  • ベースラインの判定入力は密な活性化多様体を形成しているが、バイアスのある入力はネットワークの深さとともに鋭くなる部分空間に沿ってシフトする。
  • この特定の部分空間に沿って隠れ状態を誘導すると、スコアリングが両方向に因果的に駆動されるのに対し、ランダムな方向では無視できる効果しか生じない。
  • これらのバイアス方向の特徴への線形射影は、3つの未見ベンチマークにおける審査員の失敗を正確に予測し、テキストベースの方法を上回る。

活性化幾何学としてバイアスを読み解くことは、LLMの判定行動を理解するための単一の枠組みの中で、幾何学的構造、因果的制御、運用予測を統一する。