연구자들은 추가 학습 없이 에이전트 작업에 세분화된 피드백을 제공하는 범용 검증 프레임워크인 LLM-as-a-Verifier를 소개했습니다. 표준 LM 판정자가 이산 점수를 생성하는 것과 달리, 이 방법은 점수화 토큰 로짓에 대한 기대값을 계산하여 연속 점수를 생성합니다.
확률적 공식화는 세 가지 차원에서의 확장성을 가능하게 합니다: 점세분화, 반복 평가 및 기준 분해. 이러한 요소를 확장하면 양수와 음수 솔루션 간의 분리가 개선되고 분산과 복잡성 감소를 통해 검증 정확도가 향상됩니다. 프레임워크에는 후보 중 최상의 솔루션을 선택하기 위한 비용 효율적인 랭킹 알고리즘도 포함되어 있습니다.
LLM-as-a-Verifier는 Terminal-Bench V2(86.5%), SWE-Bench Verified(78.2%), RoboRewardBench(87.4%), MedAgentBench(73.3%)에서 최첨단 성능을 달성했습니다. 세분화된 신호는 작업 진행 상황을 추정하기 위한 대리 지표로도 사용될 수 있으며, Claude Code용으로 확장 기능이 구축되어 개발자가 에이전트 시스템을 모니터링하는 데 도움이 됩니다.