एक अध्ययन मूल्यांकनकर्ता-प्रतिस्थापन अस्पष्टता को मापन-वैधता समस्या के रूप में देखता है, यह प्रदर्शित करते हुए कि उम्मीदवार प्रतिक्रियाएं स्थिर रहने पर भी LLM-as-judge स्कोर बदल सकते हैं। लेखक चार निर्णय डेटासेट पर दो अपग्रेड पथों की तुलना करते हैं: 1.7B से 32B पैरामीटर तक Qwen3 घन जज को स्केल करना और MiniMax M2-M2.7 जारी किए गए API के बीच स्थानांतरित होना।
- केवल Qwen3 1.7B से 4B तक का अपग्रेड एक मजबूत आसन्न लाभ प्रदान करता है, जबकि MiniMax के आसन्न रिलीज़ नहीं करते हैं।
- मजबूत जज स्थिति और लंबाई पूर्वाग्रह को कम करते हैं लेकिन हटाते नहीं हैं।
- त्रुटियों के सहसंबद्ध होने पर पुनरावृत्ति-नमूना ज्यूरी का कोई विशेष लाभ नहीं होता है।
- संरचित बहस निर्णयों को काफी हद तक बदल सकती है, लेकिन पार्सर और फॉलबैक लॉग के बिना इन परिवर्तनों को विचार-विमर्श के लिए जिम्मेदार ठहराया नहीं जा सकता।
लेखकों का तर्क है कि LLM-as-judge रिपोर्टों में विश्वसनीयता सुनिश्चित करने के लिए डेटासेट स्लाइस, पूर्वाग्रह प्रोब, त्रुटि-निर्भरता अनुमान और प्रोटोकॉल ऑडिट ट्रेल शामिल होने चाहिए।