ある研究は、評価者置換の曖昧さを測定妥当性の問題として扱い、候補応答が固定されたままでもLLM-as-judgeスコアが変動しうることを実証している。著者は4つの判断データセットにおいて2つのアップグレード経路を比較した：Qwen3密集審査官を1.7Bから32Bパラメータへスケールさせること、およびMiniMax M2-M2.7のリリース済みAPI間を移動すること。

  • Qwen3 1.7Bから4Bへのアップグレードのみが堅牢な隣接利点を提供し、MiniMaxの隣接リリースは提供しない。
  • より強力な審査官は位置バイアスと冗長性バイアスを軽減するが、完全に除去はしない。
  • エラーが相関している場合、反復サンプリングによる陪審団はほとんど価値を追加しない。
  • 構造化された議論は判断を大幅に変動させうるが、パーサーおよびフォールバックログなしではその変動を熟考に帰因できない。

著者は、LLM-as-judgeレポートには信頼性を確保するためにデータセットスライス、バイアスプローブ、エラー依存推定、プロトコル監査証跡を含めるべきだと主張している。