लेख में मूल्यांकनकर्ता-प्रतिस्थापन अस्पष्टता को मापन-वैधता की समस्या के रूप में देखा गया है, यह प्रदर्शित करते हुए कि उम्मीदवार प्रतिक्रियाएं स्थिर रहने पर भी LLM-as-judge स्कोर बदल सकते हैं। चार निर्णय डेटासेटों में, लेखकों ने 1.7B से 32B पैरामीटर तक Qwen3 घन जज के स्केलिंग और जारी किए गए MiniMax M2-M2.7 APIs के बीच स्विच करने की तुलना की है।
- केवल Qwen3 1.7B से 4B तक का अपग्रेड एक मजबूत आसन्न लाभ प्रदान करता है; अन्य अपग्रेड अदला-बदली योग्य नहीं हैं।
- MiniMax के आसन्न रिलीज़ मापन स्थिरता में सुसंगत सुधार नहीं लाते हैं।
- मजबूत जज स्थिति और लंबाई पूर्वाग्रह को कम करते हैं लेकिन समाप्त नहीं करते।
- जब त्रुटियां सहसंबद्ध होती हैं तो पुनरावृत्ति-नमूना ज्यूरी का मूल्य बहुत कम होता है।
- संरचित बहस निर्णयों को काफी हद तक बदल सकती है, लेकिन एट्रिब्यूशन के लिए पार्सर और फॉलबैक लॉग की आवश्यकता होती है।
लेखकों का तर्क है कि विश्वसनीयता सुनिश्चित करने के लिए LLM-as-judge रिपोर्ट में डेटासेट स्लाइस, पूर्वाग्रह प्रोब, त्रुटि-निर्भरता अनुमान और प्रोटोकॉल ऑडिट ट्रेल शामिल होने चाहिए।