تتحقق دراسة من كيفية توجيه المعلومات البصرية داخل نماذج الرؤية واللغة (VLMs) باستخدام التصحيح السببي على مجموعات البيانات الاصطناعية والطبيعية. تحدد البحث آليتين رئيسيتين: مسار مباشر تبقى فيه البيانات البصرية في رموز الصورة، ومسار وسيط نصي تنتقل فيه المعلومات أولاً إلى رموز الاستعلام.
- تستخدم النماذج مساراً مباشراً من خلال الاحتفاظ بالمعلومات البصرية في تمثيلات رموز الصورة للقراءة لاحقاً.
- يتضمن المسار الوسيط النصي نقل البيانات البصرية إلى رموز الاستعلام قبل أن يعالجها الرمز النهائي.
- يعتمد اختيار المسار على المهمة المحددة، وتوزيع البيانات، وتصميم الموجه (prompt).
- تُظهر عمليات إيقاف الانتباه (attention knockouts) والتصحيح للإدخال التالف (corrupted-input patching) أن النماذج يمكنها التبديل بمرونة إلى المسار الوسيط النصي كحل بديل عندما يتم استبعاد المسار الأساسي.
تقدم هذه النتائج توصيفاً ميكانيكياً لتدفق المعلومات البصرية في نماذج VLM وتسلط الضوء على مرونة آلياتها الداخلية تحت التدخل.