يقترح الباحثون مشفراً تلقائياً متناثراً مُهيكِلاً (S²AE) يعالج صعوبة السواحل SAE العادية في تعلم مفاهيم متسقة عبر الوسائط في نماذج الرؤية واللغة. تجمع الطريقة بين رقعات الصور بناءً على تشابه الانتباه في المحولات والقرب المكاني، وتطبق تنظيم التناثر المُهيكِل لفرض الاتساق الدلالي والمكاني.
- عند تقييمها على Qwen2.5-VL-7B-Instruct، حقق S²AE تحسناً متوسطاً بنسبة 6.06% في المحاذاة الدلالية (mIoU) و60.81 في الكفاءة التمثيلية (معيار l0 الأدنى).
- تحافظ هذه الطريقة على دقة إعادة بناء شبه مثالية مع تباين مُفسَّر يتجاوز 99%.
- أظهر التحليل عبر الوسائط تحسناً متوسطاً بنسبة 3.08% في الاتساق الدلالي وتحسناً متوسطاً بنسبة 2.37% في درجات الأحادية الدلالية لكلا الوسائط.
من خلال دفع الخلايا العصبية الكامنة للتخصص في مفاهيم مميزة ومبنية دلاليًا، يعزز S²AE تمثيلات أكثر تماسكاً وفك تشابك عبر المدخلات البصرية والنصية.