يقترح الباحثون إطار عمل موحد لتشخيص سبب فشل نماذج الرؤية واللغة من خلال التمييز بين عنق الزجاجة في التعرف البصري وعجز استرجاع المعرفة. تبحث الدراسة فيما إذا كانت الإشارات ما قبل التوليد يمكنها التنبؤ بمصادر الفشل المحددة هذه عبر مجموعات بيانات متنوعة وعائلات نماذج مختلفة.
- الفشل الناتج عن عنق الزجاجة البصري أو التعرفي يُلتقط بشكل أفضل بواسطة تمثيلات الرموز البصرية.
- الأخطاء التي تستمر بعد تحديد الكيانات يتم التنبؤ بها بشكل أفضل من خلال الحالات المخفية المشروطة بالموجه.
- تتيح هذه الإشارات ما قبل التوليد التنبؤ الفعال بمصدر الفشل قبل أن ينتج النموذج إجابة.
- يمكن توجيه الحالات غير المؤكدة إلى تدخلات مستهدفة مثل إصلاح الصورة، أو دعم التعرف على الكيانات، أو الاسترجاع الخارجي.
يتيح هذا النهج تشخيصاً أدق لعدم اليقين في نماذج VLM، مما يتيح إجراءات تصحيحية محددة بدلاً من التعامل مع الإجابات الخاطئة كفشل موحد.