लेख LLM-as-judge पूर्वाग्रह अध्ययनों के लिए सिंथेटिक कॉर्परा बनाते समय एक संरचनात्मक विफलता को उजागर करता है, जहां साझा डीकोडिंग-बजट पैरामीटर उत्पन्न हॉल्युसिनेटेड उत्तरों को काट सकते हैं। इस कटौती ने जज चयन सटीकता में 32-अंक का अंतर्राष्ट्रीय पतन कारण बना, जिसे केवल कच्ची जनरेशन का मैन्युअल निरीक्षण करके ही पता लगाया जा सकता था, न कि एग्रीगेट सांख्यिकीय जांच से।
- जजमेंट और जनरेशन कॉल के बीच एक साझा पैरामीटर ने एक उत्पादक के हॉल्युसिनेटेड उत्तरों को कुछ शब्दों तक काट दिया।
- परिणामी आइटम ने एक सांख्यिकीय रूप से मजबूत प्रभाव उत्पन्न किया: एक जज की चयन सटीकता में 32-अंक का अंतर्राष्ट्रीय पतन, N=50 से N=500 तक पुनरुत्पादित।
- मापा गया दूसरा पूर्वाग्रह (Markdown-फॉर्मेटिंग प्राथमिकता) उसी दोष द्वारा विकृत किया गया था, जिसकी मात्रा और चिह्न उत्तेजना की लंबाई के साथ बदल रहा था।
- लेखक इसे एक टेस्ट ओरेकल समस्या के रूप में प्रस्तुत करते हैं, यह नोट करते हुए कि गोल्ड उत्तर के निर्धारक विक्षोभ से बनाए गए कॉर्परा स्ट्रिंग तुलन के माध्यम से ऐसे दोषों की 100% सटीकता से पहचान की अनुमति देते हैं।
लेखक उन विश्लेषकों के लिए एक वैलिडेशन प्रोटोकॉल का प्रस्ताव करते हैं जो अधिकांश समकालीन बहुभाषी LLM-as-judge कॉर्परा का वर्णन करने वाले ओरेकल-रहित क्षेत्र में काम करते हैं।