يتعامل المقال مع غموض استبدال المُقيِّم كمشكلة في صلاحية القياس، مُظهرًا أن درجات حكم نموذج اللغة الكبير يمكن أن تتغير حتى عندما تبقى الاستجابات المرشحة ثابتة. عبر أربعة مجموعات بيانات للحكم، قارن المؤلفون توسيع نطاق القضااء الكثيفين Qwen3 من 1.7 مليار إلى 32 مليار معلمة والتبديل بين واجهات برمجة التطبيقات MiniMax M2-M2.7 المُطلقة.
- فقط الترقية من Qwen3 1.7B إلى 4B توفر مكاسب مجاورة قوية؛ الترقيات الأخرى ليست قابلة للتبديل.
- الإصدارات المجاورة لـ MiniMax لا تُحدث تحسينات متسقة في استقرار القياس.
- القضاة الأقوياء يقللان من تحيز الموقع وال verbosity لكنهما لا يلغيانهما.
- المحلفون المعادون بإعادة العينة يضيفون قيمة قليلة عندما تكون الأخطاء مترابطة.
- النقاش المنظم يمكن أن يغير القرارات بشكل كبير، لكن النسبة تتطلب سجلات المُحلِّل وسجلات الاسترداد.
يجادل المؤلفون بأن تقارير حكم نموذج اللغة الكبير يجب أن تتضمن شرائح مجموعة البيانات، وفحوصات التحيز، وتقديرات اعتماد الأخطاء، ومسارات تدقيق البروتوكول لضمان الموثوقية.