ある研究により、大規模言語モデル（LLM）の判事は、正解が提供されない参照なしの設定において、自由記述の回答を評価する際に過度に寛容である傾向があることが明らかになった。この研究は、これらのモデルが誤答を誤って高評価し、その判断が参照情報の存在に非常に敏感であることを示している。

  • 較正実験では、判事モデルが評価対象のタスクについてどの程度理解しているかが評価された。
  • 感度実験では、参照回答の存在とその配置に基づいてパフォーマンスがどのように変化するかが測定された。
  • 3つの言語において、参照回答情報を追加すると、一部の状況では正解/不正解の判断が最大85%反転した。
  • これらの参照に起因する変化は、サブセットと比較した場合、人間の注釈と概ね一致していた。

著者らは、参照なしの設定でLLM判事を信頼して使用する前に、参照を認識した評価サンプルを用いて較正する必要性を強調している。