本記事は、LLM-as-judgeバイアス研究用の合成コーパス構築における構造的な失敗を浮き彫りにしています。共有されるデコーディング予算パラメータが、生成された幻覚的な回答を切り詰める原因となることがあります。この切り詰めにより、判事（judge）の選択精度に32ポイントの言語横断的な崩壊が生じましたが、これは集計された統計チェックではなく、生の生成結果の手動検査を通じてのみ検出可能でした。

  • 判定呼び出しと生成呼び出しの間で共有されるパラメータが、あるプロデューサーの幻覚的回答を数語に切り詰めた。
  • その結果生じたデータ項目は統計的に堅牢な効果を示した：ある判事の選択精度において32ポイントの言語横断的な崩壊が生じ、N=50からN=500まで再現された。
  • 測定されたもう一つのバイアス（Markdownフォーマットへの偏好）も同じ欠陥によって歪められ、その大きさと符号が刺激の長さとともに変化した。
  • 著者らはこれをテストオラクル問題として位置づけ、ゴールドアンサーの決定論的摂動によって構築されたコーパスでは、文字列比較を通じてこのような欠陥を100%正確に検出できることを指摘している。

著者らは、現代の多言語LLM-as-judgeコーパスの大部分が該当するオラクルレスな環境で作業する分析家向けの検証プロトコルを提案している。