ある研究は、評価者の判断の確率補正が「評価者の選好結合」を緩和できるかどうかを調査している。これは、体系的なバイアスがLLMエージェントの戦略に伝播する現象である。著者らはこの緩和アプローチの初の分析を示し、偽りの選好伝播を減らすためにペアワイズ判断にキャリブレーションを適用した。

  • DeepSeek-V4-Proを実行器、GLM5.2を評価者として使用した制御実験において、信頼度補正されたTTRLは標準的なバイナリ更新と比較して結合係数gammaを20-49%低減した。
  • Jensen-Shannon発散は補正済み手法により45-67%減少した。
  • 対称LR制御により、これらの改善が更新の非対称性の低下によるものではないことが確認された。

著者らは補正済みTTRLプロトコルを公開し、LLM-as-judge導入パイプラインにおける軽量な緩和策として推奨している。