本記事は、評価者置換の曖昧さを測定妥当性の問題として扱い、候補応答が固定されたままでもLLM-as-judgeスコアが変動し得ることを実証している。4つの判断データセットにおいて、著者はQwen3密集型ジャッジを1.7Bから32Bパラメータへスケールさせることと、MiniMax M2-M2.7リリースAPI間の切り替えを比較した。

  • Qwen3 1.7Bから4Bへのアップグレードのみが堅牢な隣接効果をもたらす；他のアップグレードは相互交換可能ではない。
  • MiniMaxの隣接リリースは測定安定性において一貫した改善をもたらさない。
  • より強力なジャッジは位置バイアスと冗長性バイアスを減少させるが、完全に排除はしない。
  • エラーが相関している場合、反復サンプリングによる陪審団はほとんど価値を追加しない。
  • 構造化された議論は意思決定を大幅に変化させ得るが、帰属にはパーサーとフォールバックログが必要である。

著者は、LLM-as-judgeレポートには信頼性を確保するためにデータセットスライス、バイアスプローブ、エラー依存性推定、およびプロトコル監査証跡を含めるべきだと主張している。