एक अध्ययन का मूल्यांकन करता है कि क्या गहरी-खोज प्रणालियों में उद्धरणों की पुष्टि करने के लिए फ्रंटियर मॉडल आवश्यक हैं, और पाता है कि सस्ते जज गोल्ड लेबल के खिलाफ प्रतिस्पर्धी बने हुए हैं।
- शोधकर्ताओं ने 3 मॉडल परिवारों से 8 ऑफ-द-शेल्फ LLM जज का मूल्यांकन किया, जिसमें 1,248 रूब्रिक निर्णयों वाला एक adversarial long-form benchmark शामिल था।
- GPT-5-mini ने स्रोत-संबंधित पास-क्लास F1 में सबसे मजबूत 0.908 प्राप्त किया, जबकि तथ्यात्मक समर्थन स्कोर मॉडल के बीच सांख्यिकीय रूप से अविभेद्य थे।
- तुलनीय स्केलर F1 स्कोर होने के बावजूद जज पास-रेट ड्रिफ्ट और फॉल्स पॉजिटिव/नेगेटिव दरों में काफी भिन्न थे।
परिणाम संकेत करते हैं कि उद्धरण रूब्रिक को इनाम सिग्नल के रूप में उपयोग करने के लिए जज को कैलिब्रेट करना एक पूर्व शर्त है, लेकिन इस कैलिब्रेशन के लिए सबसे महंगे उपलब्ध मॉडल की आवश्यकता नहीं है।