Para peneliti memperkenalkan LLM-as-a-Verifier, sebuah kerangka verifikasi serbaguna yang memberikan umpan balik berbutir halus untuk tugas agentic tanpa memerlukan pelatihan tambahan. Berbeda dengan hakim LM standar yang menghasilkan skor diskrit, metode ini menghitung ekspektasi atas logit token penilai untuk menghasilkan skor kontinu.
Formulasi probabilistik memungkinkan penskalaan sepanjang tiga dimensi: granularitas skor, evaluasi berulang, dan dekomposisi kriteria. Menskalakan faktor-faktor ini mengarah pada pemisahan yang lebih baik antara solusi positif dan negatif serta peningkatan akurasi verifikasi melalui pengurangan varians dan kompleksitas. Kerangka kerja ini juga mencakup algoritma peringkat hemat biaya untuk memilih solusi terbaik di antara kandidat.
LLM-as-a-Verifier mencapai kinerja state-of-the-art di Terminal-Bench V2 (86,5%), SWE-Bench Verified (78,2%), RoboRewardBench (87,4%), dan MedAgentBench (73,3%). Sinyal berbutir halus juga dapat berfungsi sebagai proksi untuk memperkirakan kemajuan tugas, dengan ekstensi yang dibangun untuk Claude Code untuk membantu pengembang memantau sistem agentic.