يُظهر الباحثون أن المسابير الخطية على التدفق المتبقي (residual stream) للنماذج اللغوية الكبيرة يمكنها اكتشاف الإجابات "الخاطئة بثقة" بشكل موثوق في الأسئلة والأجوبة المالية، متفوقةً على معايير الثقة السلوكية. تقيّم الدراسة هذا النهج على معيارتي FinQA و TAT-QA باستخدام Qwen3-8B و Llama-3.1-8B و Gemma-2-9B.
- بين الإجابات الواثقة حيث اتفقت ثماني مخرجات إعادة أخذ العينات، كانت 15-23% خاطئة على FinQA.
- حققت المسابير AUROC بنطاق 0.68-0.77 للكشف عن هذه الهلوسات، وهو أعلى بشكل ملحوظ من AUROC بنطاق 0.55-0.63 للمعايير الأساسية مثل الاحتمالات اللوغاريتمية للرموز والتقييم الذاتي.
- تستغل الطريقة التنشيطات الداخلية لتحديد الأخطاء التي تفشل مقاييس الثقة السلوكية في رصدها.
يقترح المؤلفون أن الفحص (probing) يوفر آلية فرز فعالة من حيث التكلفة لتوجيه إجابات LLM إلى المراجعة البشرية في التطبيقات المالية عالية المخاطر.