يقترح الباحثون مشفراً تلقائياً متناثراً منظماً (S²AE) يفرض اتساق المفهوم من كلا المنظورين الدلالي والمكاني في الوسيط البصري لنماذج اللغة والرؤية. تجمع الطريقة بين رقعات الصورة بناءً على تشابه انتباه المحول والقرب المكاني، مما يقدم تنظيم تباعد متناثر منظماً لدفع الخلايا العصبية الكامنة نحو مفاهيم متميزة ومترسخة دلاليًا.
- تم تقييمها على Qwen2.5-VL-7B-Instruct، حيث حقق S²AE تحسناً متوسطاً بنسبة 6.06% في محاذاة المعنى (mIoU) و60.81 في الكفاءة التمثيلية (معيار l0 الأدنى).
- تحافظ الطريقة على دقة إعادة بناء قريبة من الكمال مع تباين موضح يتجاوز 99%.
- يُظهر التحليل عبر الوسائط مكسباً متوسطاً بنسبة 3.08% في اتساق المعنى ومكسباً متوسطاً بنسبة 2.37% في درجات أحادية الدلالة لكلا وسطي الميزات متعددة الوسائط.
من خلال الاستفادة من البنى الهيكلية البصرية، يعزز S²AE أحادية دلالة الخلايا العصبية، مما يعزز تمثيلات أكثر تماسكاً وفك ارتباط عبر الوسائط.