Les chercheurs présentent LLM-as-a-Verifier, un cadre de vérification polyvalent qui fournit des retours fins pour les tâches agentic sans nécessiter d'entraînement supplémentaire. Contrairement aux juges LM standard qui produisent des scores discrets, cette méthode calcule l'espérance sur les logits des tokens de notation pour générer des scores continus.
La formulation probabiliste permet une mise à l'échelle selon trois dimensions : la granularité du score, l'évaluation répétée et la décomposition des critères. L'extension de ces facteurs conduit à une meilleure séparation entre les solutions positives et négatives et à une amélioration de la précision de vérification grâce à la réduction de la variance et de la complexité. Le cadre inclut également un algorithme de classement rentable pour sélectionner la meilleure solution parmi les candidats.
LLM-as-a-Verifier atteint des performances de pointe sur Terminal-Bench V2 (86,5 %), SWE-Bench Verified (78,2 %), RoboRewardBench (87,4 %) et MedAgentBench (73,3 %). Les signaux fins peuvent également servir de proxy pour estimer la progression de la tâche, avec une extension construite pour Claude Code afin d'aider les développeurs à surveiller les systèmes agentic.