تقيّم دراسة ما إذا كانت النماذج المتطورة ضرورية للتحقق من الآيات في أنظمة البحث العميق، وتجد أن القضاة الأرخص لا يزالون منافسين ضد العلامات الذهبية.
- قيّم الباحثون 8 قضاة LLM جاهزين للاستخدام من عائلات نماذج ثلاث على معيار تحدي طويل الشكل يتكون من 1,248 قرارًا قائمًا على معايير التقييم.
- حقق GPT-5-mini أقوى دقة F1 لفئة المرور ذات الصلة بالمصدر عند 0.908، بينما كانت درجات الدعم الواقعي غير قابلة للتمييز إحصائيًا عبر النماذج.
- اختلف القضاة بشكل كبير في انحراف معدل المرور ومعدلات الإيجابيات والسلبيات الكاذبة على الرغم من درجات F1 العددية المتقاربة.
تشير النتائج إلى أن معايرة القاضي شرط مسبق لاستخدام معايير الآيات كإشارات مكافأة، لكن هذه المعايرة لا تتطلب أغلى نموذج متاح.