研究者らは、LLM-as-a-Verifierを発表した。これは追加の学習を必要とせずにエージェントタスクに対してきめ細かいフィードバックを提供する汎用の検証フレームワークである。標準的なLMジャッジが離散スコアを生成するのに対し、この手法はスコアリングトークンのロジットに対する期待値を計算して連続スコアを生成する。

確率的な定式化により、3つの次元でスケーリングが可能になる。それはスコールの粒度、反復評価、および基準の分解である。これらの要因をスケールアップすることで、正解と不正解の分離が改善され、分散と複雑さの低減を通じて検証精度が向上する。フレームワークには、候補の中から最良のソリューションを選択するためのコスト効率の良いランキングアルゴリズムも含まれている。

LLM-as-a-Verifierは、Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）、MedAgentBench（73.3%）で最先端のパフォーマンスを達成した。きめ細かいシグナルはタスクの進行状況を推定するためのプロキシとしても機能し、Claude Code用に拡張が構築され、開発者がエージェントシステムを監視するのに役立っている。