एक अध्ययन जांचता है कि संश्लेषित और प्राकृतिक डेटासेट पर कारण पैचिंग का उपयोग करके दृश्य जानकारी को वीएलएम (VLMs) के भीतर कैसे रूट किया जाता है। शोध ने दो प्राथमिक तंत्रों की पहचान की: एक प्रत्यक्ष मार्ग जहाँ दृश्य डेटा छवि टोकन में बना रहता है, और एक पाठ-मध्यस्थित मार्ग जहाँ जानकारी पहले क्वेरी टोकन में स्थानांतरित होती है।
- मॉडल बाद की रीडआउट के लिए छवि टोकन निरूपणों में दृश्य जानकारी को बनाए रखकर एक प्रत्यक्ष मार्ग का उपयोग करते हैं।
- एक पाठ-मध्यस्थित मार्ग में अंतिम टोकन द्वारा इसे संसाधित करने से पहले क्वेरी टोकन में दृश्य डेटा स्थानांतरित करना शामिल है।
- मार्ग चयन विशिष्ट कार्य, डेटा वितरण और प्रॉम्प्ट डिज़ाइन पर निर्भर करता है।
- ध्यान नष्ट करने और क्षतिग्रस्त-इनपुट पैचिंग दिखाते हैं कि मॉडल मुख्य मार्ग को अमलेबलेट (ablated) होने पर एक फॉलबैक के रूप में पाठ-मध्यस्थित मार्ग पर लचीले ढंग से स्विच कर सकते हैं।
ये निष्कर्ष VLMs में दृश्य जानकारी के प्रवाह का तंत्रिक वर्णन प्रदान करते हैं और हस्तक्षेप के तहत उनके आंतरिक तंत्रों की लचीलेता को उजागर करते हैं।