يقترح الباحثون SaMer، وهو إطار دمج الرموز الواعي بالكائنات الذي يضغط رموز ما بعد المُرسِّج من جانب الصورة إلى K مركزًا ممثلًا مع الحفاظ على واجهة التفاعل المتأخر الأصلية للاسترجاع متعدد المتجهات للرؤية واللغة.
- يستخدم SaMer تسميات الكائنات فقط أثناء التدريب كأولوية للدمج لمنع الخلط بين الأمثلة المختلفة ولا يتطلب صناديق حدود حقيقية أو كواشف في وقت الاستنتاج.
- تتكيف الطريقة فقط مع طبقة الإسقاط المشتركة مع تثبيت أعمدة الرؤية واللغة الخلفية.
- مع K=64، يزيل SaMer أكثر من 93% من رموز جانب الصورة ويقلل تخزين ColPali بنسبة 16.09x مع تحسين R@1 على Flickr30K وMSCOCO.
- تتفوق الطريقة على أسس الضغط وتظهر ترسيخًا على مستوى العبارة أقوى مقارنة بطرق التقليم أو تجميع الميزات فقط.
تنشأ هذه المكاسب لأن الدمج الواعي بالكائنات يحافظ على أدلة الكائنات القابلة للاختيار من قبل الاستعلام والتي يمكن لطرق الضغط الأخرى إزالتها أو طيها، مما يشير إلى أن الاسترجاع الفعال متعدد المتجهات يعتمد على الحفاظ على الأدلة التي تحتاجها رموز الاستعلام المستقبلية للاختيار.