تُظهر الأبحاث عبر خمسة نماذج مُعدّلة بالتعليمات من ثلاث عائلات (من 2B إلى 14B) أن رفض النموذج يتضمن محورين متميزين: دقة الإجابة وإمكانية الإجابة على السؤال. وجدت الدراسة أن درجات الثقة القياسية تتعقب الدقة لكنها عمياء تقريباً فيما يتعلق بما إذا كان السؤال قابلاً للإجابة فعلياً، خاصةً على الأسئلة ذات المقدمات الخاطئة.
- يمكن للكاشف الخطي على الحالات المخفية اكتشاف الأسئلة غير القابلة للإجابة بمعدل AUROC يتراوح بين 0.69 و0.77، بينما تظل المقاييس القياسية مثل P(IK) وP(True) قريبة من الصدفة.
- توجيه النماذج للتحقق من المقدمات يؤدي إلى نتائج عكسية، مما يجعلها تطعن في مقدمات سليمة (57% طعون خاطئة)، بينما يضاعف توجيه التعليمات عبر الكاشف دقة الطعون ثلاثة أضعاف.
- سياسة معايرة تستخدم درجات منفصلة لإمكانية الإجابة والدقة تضمن تغطية 0.75 للإجابات الصحيحة عند عتبة 0.75، مقارنة بـ 0.31 فقط لعتبة واحدة.
يتيح هذا النهج التحكم في معدل الإجابات غير القابلة للإجابة على كل المقاييس مع تحديد معدل الإجابات الخاطئة بدقة النموذج، مما يوفر ضماناً أكثر صرامة من طرق العتبة الواحدة.