शोधकर्ताओं ने SaMer का प्रस्ताव दिया, एक ऑब्जेक्ट-अवेयर टोकन मर्जिंग फ्रेमवर्क जो छवि-साइड पोस्ट-प्रोजेक्टर टोकन को K प्रतिनिधि केंद्रकों में संपीड़ित करता है जबकि बहु-सदिश दृश्य-भाषा पुनर्प्राप्ति के लिए मूल लेट-इंटरैक्शन इंटरफ़ेस को बनाए रखता है।
- SaMer विलय प्राथमिकता के रूप में प्रशिक्षण के दौरान केवल ऑब्जेक्ट एनोटेशन का उपयोग करता है ताकि क्रॉस-इनस्टेंस मिक्सिंग को रोका जा सके और इनफरेंस समय पर कोई ग्राउंड-ट्रुथ बॉउंडिंग बॉक्स या डिटेक्टर की आवश्यकता नहीं होती है।
- विधि केवल साझा प्रोजेक्शन लेयर को अनुकूलित करती है जबकि दृश्य और भाषा बैकबोन फ्रीज़ किए जाते हैं।
- K=64 के साथ, SaMer छवि-साइड टोकन का 93% से अधिक हटा देता है और ColPali भंडारण को 16.09x कम कर देता है जबकि Flickr30K और MSCOCO पर R@1 में सुधार करता है।
- यह दृष्टिकोण संपीड़न बेलाइन से बेहतर प्रदर्शन करता है और प्रूनिंग या केवल फीचर-पूलिंग विधियों की तुलना में मजबूत वाक्यांश-स्तर ग्राउंडिंग दिखाता है।
ये लाभ इसलिए होते हैं क्योंकि ऑब्जेक्ट-अवेयर मर्जिंग क्वेरी-सिलेक्टेबल ऑब्जेक्ट प्रमाण को बनाए रखता है जिसे अन्य संपीड़न विधियाँ हटा या संकुचित कर सकती हैं, जो सुझाव देता है कि दक्ष बहु-सदिश पुनर्प्राप्ति भविष्य के क्वेरी टोकन की चयन करने की आवश्यकता वाले प्रमाण को बनाए रखने पर निर्भर करती है।