يبحث الباحثون في سبب عجز نماذج الرؤية واللغة (VLMs) عن عد الأشياء على الرغم من ترميزها للعد الصحيح داخلياً. وجدوا أن المسابير غير الخطية يمكنها اكتشاف هذه الأخطاء، مما يكشف عن عدم تطابق بين التمثيلات الداخلية والمخرجات اللفظية.
- يُظهر تدريب مسابير على التنشيطات من أربعة نماذج VLM عبر خمس مجموعات بيانات أن النماذج غالباً ما ترمّز العد الصحيح حتى عند إخراج إجابة خاطئة.
- يكشف تحليل SVCCA عن أن المسابير المدربة على عدّ الحقائق الأرضية ومخرجات النموذج تشغل فضاءً جزئياً مشتركاً للتنشيط، لكنها تُقرأ على طول اتجاهات غير متطابقة.
- تثبت تدخلات التوجيه السببي أن تعزيز اتجاه المسابير التي تحدد العد يحسن أداء العد.
- تقوم طريقة التصحيح الذاتي الموجهة بالكاشف بإعادة توجيه النموذج بشكل انتقائي فقط عندما يتنبأ كاشف الأخطاء الداخلي بالفشل.
هذا التدخل أثناء الاستدلال يحسن دقة العد بنسبة تصل إلى 15.6 نقطة مئوية مطلقة دون أي تحديثات للمعاملات، مما يرسخ المسبار القائم على التنشيط كأداة عملية لتحسين نماذج VLM.