Исследователи представляют LLM-as-a-Verifier, универсальную систему верификации, обеспечивающую детализированную обратную связь для агентных задач без необходимости дополнительного обучения. В отличие от стандартных судей на основе LM, которые выдают дискретные оценки, этот метод вычисляет математическое ожидание по логитам токенов оценок для генерации непрерывных баллов.
Вероятностная формулировка позволяет масштабировать систему по трём направлениям: гранулярность оценки, повторные проверки и декомпозиция критериев. Масштабирование этих факторов приводит к лучшему разделению между положительными и отрицательными решениями и повышению точности верификации за счёт снижения дисперсии и сложности. Система также включает экономичный алгоритм ранжирования для выбора наилучшего решения среди кандидатов.
LLM-as-a-Verifier достигает наивысших результатов на Terminal-Bench V2 (86,5%), SWE-Bench Verified (78,2%), RoboRewardBench (87,4%) и MedAgentBench (73,3%). Детализированные сигналы также могут служить прокси для оценки прогресса задачи, при этом создана интеграция для Claude Code, помогающая разработчикам отслеживать работу агентных систем.