तीन परिवारों (2B से 14B तक) के पांच निर्देश-ट्यून्ड मॉडल्स पर शोध दिखाता है कि मॉडल का इनकार दो अलग-अलग अक्षों को शामिल करता है: उत्तर की सटीकता और प्रश्न का उत्तर देने की क्षमता। अध्ययन पाता है कि मानक आत्मविश्वास स्कोर सटीकता को ट्रैक करते हैं, लेकिन यह देखने में लगभग अंधे होते हैं कि कोई प्रश्न वास्तव में उत्तर योग्य है या नहीं, विशेष रूप से गलत-धारणा वाले प्रश्नों पर।
- छिपी हुई अवस्थाओं पर एक रैखिक प्रोब 0.69 से 0.77 AUROC के साथ उत्तर न देने योग्य प्रश्नों का पता लगा सकता है, जबकि P(IK) और P(True) जैसे मानक मापदंड यादृच्छिक स्तर के पास बने रहते हैं।
- मॉडल्स को आधारों की जांच करने का निर्देश देना विपरीत प्रभाव डालता है, जिससे वे सही आधारों को चुनौती देते हैं (57% गलत चुनौतियाँ), जबकि प्रोब के माध्यम से निर्देश रूटिंग चुनौती की सटीकता को तीन गुना कर देती है।
- अलग-अलग उत्तर देने की क्षमता और सटीकता स्कोर का उपयोग करने वाली एक कैलिब्रेटेड नीति 0.75 थ्रेशोल्ड पर 0.75 कवरेज प्रमाणित करती है, जबकि केवल एक थ्रेशोल्ड के लिए यह मात्र 0.31 है।
यह दृष्टिकोण हर स्केल पर उत्तर न देने की दर को नियंत्रणीय बनाता है, साथ ही मॉडल की सटीकता द्वारा गलत-उत्तर दर को सीमित करता है, जो एकल-थ्रेशोल्ड विधियों की तुलना में अधिक कठोर गारंटी प्रदान करता है।