Pesquisadores introduzem o LLM-as-a-Verifier, um framework de verificação de propósito geral que fornece feedback fino para tarefas agênticas sem exigir treinamento adicional. Diferente dos juízes LM padrão que produzem escores discretos, este método calcula a expectativa sobre os logits de tokens de pontuação para gerar escores contínuos.
A formulação probabilística permite escalonamento em três dimensões: granularidade da pontuação, avaliação repetida e decomposição de critérios. Escalonar esses fatores leva a uma melhor separação entre soluções positivas e negativas e melhora a precisão da verificação por meio da redução de variância e complexidade. O framework também inclui um algoritmo de rankeamento eficiente em custos para selecionar a melhor solução entre as candidatas.
LLM-as-a-Verifier alcança desempenho de estado da arte no Terminal-Bench V2 (86,5%), SWE-Bench Verified (78,2%), RoboRewardBench (87,4%) e MedAgentBench (73,3%). Os sinais finos também podem servir como proxy para estimar o progresso da tarefa, com uma extensão construída para o Claude Code para ajudar desenvolvedores a monitorar sistemas agênticos.