تكشف دراسة أن حكام نماذج اللغات الكبيرة (LLM) يميلون إلى أن يكونوا متساهلين بشكل مفرط عند تقييم الردود مفتوحة النهاية في الإعدادات التي لا تحتوي على إشارات مرجعية، حيث لا يتم توفير إجابة الحقيقة الأرضية. تُظهر الأبحاث أن هذه النماذج غالباً ما تمنح رصيداً خاطئاً للإجابات الخاطئة وأن أحكامها حساسة للغاية لوجود معلومات مرجعية.
- قُدرت تجارب المعايرة معرفة نموذج الحكم بالمهمة التي كان يقيمها.
- قاست تجارب الحساسية كيف تغير الأداء بناءً على وجود وترتيب الإجابات المرجعية.
- عبر ثلاث لغات، أدى إضافة معلومات الإجابة المرجعية إلى عكس القرارات الصحيحة/الخاطئة بنسبة تصل إلى 85% في بعض الإعدادات.
- اتفقت هذه التغييرات المدفوعة بالمراجع بشكل عام مع التعليقات التوضيحية البشرية عند مقارنتها بمجموعة فرعية منها.
يشدد المؤلفون على الحاجة إلى معايرة حكام LLM باستخدام عينات تقييم واعية للمراجع قبل استخدامها بشكل موثوق في الإعدادات الخالية من المراجع.