Los investigadores presentan LLM-as-a-Verifier, un marco de verificación de propósito general que proporciona retroalimentación fina para tareas agénticas sin requerir entrenamiento adicional. A diferencia de los jueces LM estándar que producen puntuaciones discretas, este método calcula la expectativa sobre los logits de los tokens de puntuación para generar puntuaciones continuas.
La formulación probabilística permite escalar en tres dimensiones: granularidad de la puntuación, evaluación repetida y descomposición de criterios. Escalar estos factores conduce a una mejor separación entre soluciones positivas y negativas y mejora la precisión de verificación mediante la reducción de varianza y complejidad. El marco también incluye un algoritmo de clasificación eficiente en costos para seleccionar la mejor solución entre las candidatas.
LLM-as-a-Verifier alcanza el estado del arte en Terminal-Bench V2 (86,5%), SWE-Bench Verified (78,2%), RoboRewardBench (87,4%) y MedAgentBench (73,3%). Las señales de alta granularidad también pueden servir como un proxy para estimar el progreso de la tarea, con una extensión construida para Claude Code que ayuda a los desarrolladores a monitorear sistemas agénticos.