शोधकर्ताओं ने LLM-as-a-Verifier पेश किया है, जो एक सामान्य उद्देश्य सत्यापन ढांचा है जो अतिरिक्त प्रशिक्षण की आवश्यकता के बिना एजेंटिक कार्यों के लिए सूक्ष्म-स्तरीय फीडबैक प्रदान करता है। मानक LM जजों के विपरीत जो डिस्क्रीट स्कोर उत्पन्न करते हैं, यह विधि निरंतर स्कोर उत्पन्न करने के लिए स्कोरिंग टोकन लॉगिट्स पर अपेक्षा की गणना करता है।
संभाव्यता सूत्रीकरण तीन आयामों में स्केलिंग को सक्षम बनाता है: स्कोर ग्रैन्युलैरिटी, पुनरावृत्ति मूल्यांकन, और मानदंड विघटन। इन कारकों का स्केलिंग धनात्मक और ऋणात्मक समाधानों के बीच बेहतर अलगाव और भिन्नता और जटिलता में कमी के माध्यम से सत्यापन सटीकता में सुधार की ओर ले जाता है। इस ढांचे में उम्मीदवारों में से सर्वोत्तम समाधान का चयन करने के लिए एक लागू-कुशल रैंकिंग एल्गोरिदम भी शामिल है।
LLM-as-a-Verifier ने Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), और MedAgentBench (73.3%) पर शीर्ष प्रदर्शन प्राप्त किया है। सूक्ष्म-स्तरीय संकेत कार्य प्रगति का अनुमान लगाने के लिए एक प्रतिस्थापन के रूप में भी काम कर सकते हैं, जिसमें Claude Code के लिए एक विस्तार बनाया गया है जो डेवलपर्स को एजेंटिक सिस्टम की निगरानी करने में मदद करता है।