تسلط المقالة الضوء على فشل هيكلي في بناء مجموعات بيانات تركيبية لدراسات تحيز حكم LLM، حيث يمكن لمعايير ميزانية فك التشفير المشتركة أن تقص الإجابات المهلوسة المولدة. تسبب هذا القص في انهيار عبر اللغات بمقدار 32 نقطة في دقة اختيار الحكم، والذي كان يمكن اكتشافه فقط من خلال الفحص اليدوي للتوليدات الخام بدلاً من فحوصات الإحصاءات المجمعة.
- قص معيار مشترك بين استدعاءات التحكيم والتوليد إجابات مهلوسة من منتج واحد إلى بضع كلمات.
- أنتجت العناصر الناتجة تأثيراً قوياً إحصائياً: انهيار عبر اللغات بمقدار 32 نقطة في دقة اختيار حكم معين، تم تكراره من N=50 إلى N=500.
- تشوه تحيز ثانٍ مقاس (تفضيل تنسيق Markdown) بسبب نفس العيب، مع تغير مقداره وعلته مع طول المحفز.
- يصف المؤلفون هذا بأنه مشكلة مرجع اختباري، مشيرين إلى أن المجموعات المبنية عن طريق الاضطراب الحتمي لإجابة ذهبية تسمح بالكشف الدقيق بنسبة 100% عن مثل هذه العيوب عبر مقارنة السلاسل النصية.
يقترح المؤلفون بروتوكول تحقق للمحللين العاملين في النظام الخالي من المرجع الذي يصف معظم مجموعات حكم LLM متعددة اللغات المعاصرة.