FinTabNetとOmniDocBenchを用いた研究により、LLM-as-a-judgeの信号は表認識における閉ループ再生の最適化には不十分であることが示された。この研究では、ジャッジスコアが頻繁に同点となり、ランキングが再現不可能であり、システムが反復によって生成されたより良い候補を回復できなかったことが明らかにされた。

  • ジャッジ信号は弱いパフォーマンスを示し、選択ポリシーは無作為よりも優れていたが、これは実際のスコアの品質ではなく同点ルールによるものだった。
  • 制約のない再生の下でターゲット保持の失敗に関連して、特定のジャッジフィードバックがない場合でも深刻な損失が発生した。
  • 構造維持指示は深刻な損失率を低減したが、ジャッジフィードバックが保持された場合、全体的な結果は改善されなかった。

これらの知見は、評価能力が最適化の有用性を意味するものではないことを示しており、反復的改良にはLLMジャッジスコアに依存するのではなく、決定論的な検証信号が必要であることを示唆している。