يحدد البحث عبر خمسة نماذج مُعدّلة بالتعليمات من ثلاث عائلات (من 2B إلى 14B) محورين متميزين لانسحاب نماذج LLM: دقة الإجابة وإمكانية الإجابة على السؤال. وجدت الدراسة أن ثقة الإجابة العادية تتبع ما إذا كانت الإجابة صحيحة لكنها تبقى عمياء تقريباً حول ما إذا كان السؤال قابلاً للإجابة، بينما يكشف المسبار الخطي للحالات المخفية عن عدم إمكانية الإجابة.
- في الأسئلة ذات المقدمات الخاطئة (CREPE)، تظل المقاييس القياسية قريبة من الصدفة، بينما يصل مسبار الحالة المخفية إلى 0.69 إلى 0.77 AUROC.
- توجيه النماذج للتحقق من المقدمات يؤدي إلى نتائج عكسية مع 57% من التحديات الخاطئة، لكن توجيه التعليمات عبر المسبار يضاعف دقة التحديات ثلاثة أضعاف.
- سياسة مُعايرة تُثبت كلًا من إمكانية الإجابة ودقة النتائج عند تغطية بنسبة 0.75 تحقق تغطية للإجابات الصحيحة بنسبة 0.31، مقارنة بفشل العتبة الواحدة.
يتيح هذا النهج التحكم في معدل الإجابات غير القابلة للإجابة على كل المقاييس مع تحديد معدل الإجابات الخاطئة بواسطة دقة النموذج.