يقدم الباحثون TrapQA، وهو مختبر اختبار تشخيصي مصمم للتحقيق في سبب قيام نماذج اللغة الكبيرة بإنتاج إجابات هلوسية تنتهقي قيود المطالبة. تُصوّر الدراسة هذه المشكلة على أنها "عدم تطابق الاستدلال"، حيث تتفوق الارتباطات الكامنة البارزة إحصائياً على مسارات الاستدلال الحساسة للقيود التي تم إنشاؤها أثناء التدريب المسبق.
- يستخدم الإطار نموذج المهمة المفتاحية الكامنة لإظهار كيف يمكن أن يؤدي عدم التوازن في تكرار التدريب المسبق إلى هيمنة المسارات المختصرة، مما يسبب فقدان استدلال موجب.
- يتكون TrapQA من ScientistQA، الذي يختبر إزالة الغموض بين الكيانات للعلماء المتشابهين باستخدام مسحات واقعية، وReal-Life Constrained QA، الذي يقيّم الالتزام بالقيود اليومية تحت مسارات مختصرة بارزة.
- تشير النتائج إلى أن الهلوسة غالباً ما تنشأ من استدلال كامن متحيز بدلاً من مجرد نقص في المعرفة.
تشير النتائج إلى أن معالجة الفجوة بين الإجابات المدعومة بالمطالبة والارتباطات الكامنة المفضلة أمر حاسم لتقليل الهلوسة في نماذج اللغة.