एक अध्ययन से पता चलता है कि बड़े भाषा मॉडल (LLM) जज संदर्भ-रहित सेटिंग्स में खुले-अंत के उत्तरों का मूल्यांकन करते समय अत्यधिक उदार होने की प्रवृत्ति रखते हैं, जहाँ कोई भूमि-सत्य उत्तर प्रदान नहीं किया जाता है। शोध दिखाता है कि ये मॉडल अक्सर गलत उत्तरों को गलत तरीके से क्रेडिट देते हैं और उनके निर्णय संदर्भ जानकारी की उपस्थिति के प्रति अत्यधिक संवेदनशील होते हैं।
- कैलिब्रेशन प्रयोगों ने जज मॉडल के उस कार्य के ज्ञान का आकलन किया जिसे वह मूल्यांकन कर रहा था।
- संवेदनशीलता प्रयोगों ने मापा कि संदर्भ उत्तरों की उपस्थिति और स्थिति के आधार पर प्रदर्शन कैसे बदला।
- तीन भाषाओं में, संदर्भ उत्तर जानकारी जोड़ने से कुछ सेटिंग्स में सही/गलत निर्णय 85% तक उलट गए।
- जब उनमें से एक उपसमुच्चय की तुलना में किया गया, तो ये संदर्भ-चालित परिवर्तन सामान्य रूप से मानव एनोटेशन के साथ सहमत थे।
लेखक LLM जजों को संदर्भ-मुक्त सेटअप में विश्वसनीय रूप से उपयोग करने से पहले संदर्भ-जागरूक मूल्यांकन नमूनों के साथ कैलिब्रेट करने की आवश्यकता पर जोर देते हैं।