शोधकर्ताओं ने एक स्ट्रक्चर्ड स्पार्स ऑटोएन्कोडर (S²AE) का प्रस्ताव रखा है जो विजन-लैंग्वेज मॉडल्स में वैनिला SAEs द्वारा मॉडैलिटी-कंसिस्टेंट अवधारणाओं को सीखने की संघर्ष को हल करता है। विधि ट्रान्सफॉर्मर एटेंशन समानता और स्थानिक निकटता के आधार पर छवि पैचों को समूहित करती है, अर्थवैज्ञानिक और स्थानिक सुसंगतता को लागू करने के लिए स्ट्रक्चर्ड स्पार्सिटी रेगुलराइजेशन लागू करती है।
- Qwen2.5-VL-7B-Instruct पर मूल्यांकन किया गया, S²AE ने अर्थवैज्ञानिक एलाइनमेंट (mIoU) में 6.06% की औसत सुधार और प्रतिनिधित्व दक्षता (कम l0 नॉर्म) में 60.81 हासिल किया।
- विधि ने 99% से अधिक समझाई गई वैरिएंस के साथ लगभग पूर्ण पुनर्निर्माण फिडेलिटी को बनाए रखता है।
- क्रॉस-मॉडल विश्लेषण दोनों मॉडैलिटीज़ के लिए अर्थवैज्ञानिक सुसंगतता में 3.08% की औसत वृद्धि और मोनोसेमांटिसिटी स्कोर में 2.37% की औसत वृद्धि दिखाता है।
लैटेंट न्यूरॉन्स को विशिष्ट, अर्थवैज्ञानिक रूप से आधारित अवधारणाओं में विशेषज्ञ बनाने द्वारा, S²AE दृश्य और पाठ्य इनपुट दोनों के बीच अधिक सहसंबद्ध और डिसेंटंगल्ड प्रतिनिधित्व को बढ़ावा देता है।