研究人员推出了 LLM-as-a-Verifier,这是一种通用验证框架,可为智能体任务提供细粒度反馈,且无需额外训练。与产生离散分数的标准 LM 裁判不同,该方法通过计算评分 token logits 的期望值来生成连续分数。

概率化公式支持在三个维度上进行扩展:评分粒度、重复评估和标准分解。扩展这些因素有助于更好地分离正解与负解,并通过降低方差和复杂度来提高验证准确率。该框架还包含一种成本高效的排序算法,用于从候选方案中选择最佳解决方案。

LLM-as-a-Verifier 在 Terminal-Bench V2(86.5%)、SWE-Bench Verified(78.2%)、RoboRewardBench(87.4%)和 MedAgentBench(73.3%)上取得了最先进的性能。细粒度信号还可作为估算任务进度的代理,并为此构建了针对 Claude Code 的扩展,以帮助开发人员监控智能体系统。