शोधकर्ताओं ने दिखाया है कि बड़े भाषा मॉडल के अवशिष्ट प्रवाह पर रैखिक प्रोब "आत्मविश्वासपूर्वक गलत" उत्तरों को विश्वसनीय रूप से पहचान सकते हैं, जो व्यवहारिक आत्मविश्वास आधार रेखाओं से बेहतर हैं। अध्ययन ने Qwen3-8B, Llama-3.1-8B और Gemma-2-9B का उपयोग करके FinQA और TAT-QA बेंचमार्क पर इस दृष्टिकोण का मूल्यांकन किया।
- उन आत्मविश्वासपूर्ण उत्तरों में जहाँ आठ पुनः सैंपल किए गए आउटपुट सहमत हुए, FinQA पर 15-23% गलत थे।
- इन भ्रमों को पहचानने के लिए प्रोब ने 0.68-0.77 का AUROC हासिल किया, जो टोकन लॉग-संभावनाओं और स्वयं-मूल्यांकन जैसे आधार रेखाओं के 0.55-0.63 AUROC से काफी अधिक है।
- यह विधि आंतरिक सक्रियण का लाभ उठाती है ताकि त्रुटियों की पहचान की जा सके जिन्हें व्यवहारिक आत्मविश्वास मापदंड पकड़ने में विफल रहते हैं।
लेखकों ने सुझाव दिया है कि प्रोबिंग उच्च-जोखिम वाले वित्तीय अनुप्रयोगों में मानवीय समीक्षा के लिए LLM उत्तरों को रूट करने के लिए एक लागत-प्रभावी त्रिआज तंत्र प्रदान करती है।