تعامل دراسة غموض استبدال المُقيِّم كمشكلة في صلاحية القياس، مُظهرةً أن درجات حكم LLM-as-judge يمكن أن تتغير حتى عندما تظل الاستجابات المرشحة ثابتة. يقارن المؤلفون مسارين للترقية عبر أربع مجموعات بيانات للحكم: توسيع نطاق حكام Qwen3 الكثيفين من 1.7B إلى 32B معلمة، والانتقال بين واجهات برمجة التطبيقات MiniMax M2-M2.7 المُطلقة.
- فقط الترقية من Qwen3 1.7B إلى 4B توفر مكاسب مجاورة قوية، بينما لا تفعل الإصدارات المجاورة لـ MiniMax ذلك.
- القضاوة الأقوياء يقللون من تحيز الموقع وال verbosity لكنهم لا يزيلونهما تمامًا.
- المحلفون المعادون بإعادة العينة يضيفون قيمة قليلة عندما تكون الأخطاء مترابطة.
- النقاش الهيكلي يمكن أن يغير القرارات بشكل كبير، لكن هذه التغييرات لا يمكن نسبتها إلى المداولات دون سجلات المُحلل وسجلات الاسترداد.
يجادل المؤلفون بأن تقارير حكم LLM-as-judge يجب أن تتضمن شرائح مجموعات البيانات، وفحوصات التحيز، وتقديرات اعتماد الأخطاء، وسجلات تدقيق البروتوكول لضمان الموثوقية.