तीन परिवारों (2B से 14B तक) के पांच निर्देश-ट्यून्ड मॉडल्स पर शोध ने LLM के उत्तर न देने के लिए दो अलग-अलग अक्षों की पहचान की: उत्तर की सटीकता और प्रश्न का उत्तर देने योग्य होना। अध्ययन पाता है कि सामान्य उत्तर-आत्मविश्वास यह ट्रैक करता है कि क्या कोई उत्तर सही है, लेकिन यह लगभग अंधा रहता है कि क्या कोई प्रश्न उत्तर देने योग्य है, जबकि छिपी हुई अवस्थाओं पर एक रैखिक प्रोब असंभावना का पता लगाता है।
- झूठे-प्रीमिस प्रश्नों (CREPE) पर, मानक मेट्रिक्स संयोग के पास रहते हैं, जबकि छिपी हुई अवस्था प्रोब 0.69 से 0.77 AUROC तक पहुंचता है।
- मॉडल्स को प्रीमिस की जांच करने का निर्देश देना 57% झूठे चुनौतियों के साथ विपरीत प्रभाव डालता है, लेकिन प्रोब के माध्यम से निर्देश रूटिंग चुनौती सटीकता को तीन गुना बढ़ा देती है।
- एक कैलिब्रेटेड नीति जो 0.75 कवरेज पर उत्तर देने योग्यता और सटीकता दोनों को प्रमाणित करती है, 0.31 सही उत्तर कवरेज हासिल करती है, जबकि एकल थ्रेशोल्ड की विफलता के मुकाबले।
यह दृष्टिकोण हर स्केल पर असंभाव्य-उत्तर दर को नियंत्रणीय बनाता है, साथ ही मॉडल सटीकता द्वारा गलत-उत्तर दर को सीमित करता है।