शोधकर्ताओं ने एक स्ट्रक्चर्ड स्पार्स ऑटोएनकोडर (S²AE) का प्रस्ताव किया है जो विजन-लैंग्वेज मॉडल्स की विज़ुअल मॉडैलिटी में अर्थशास्त्रीय और स्थानिक दृष्टिकोणों से अवधारणा की सुसंगतता को लागू करता है। विधि Transformer एटेंशन समानता और स्थानिक निकटता के आधार पर छवि पैच को ग्रुप करती है, लैटेंट न्यूरॉन्स को अलग-अलग, अर्थशास्त्रीय रूप से आधारित अवधारणाओं की ओर ले जाने के लिए स्ट्रक्चर्ड स्पार्सिटी रेगुलराइज़ेशन पेश करती है।
- Qwen2.5-VL-7B-Instruct पर मूल्यांकन किया गया, S²AE ने अर्थशास्त्रीय एलाइनमेंट (mIoU) में 6.06% की औसत सुधार और प्रतिनिधित्व दक्षता (कम l0 नॉर्म) में 60.81 हासिल किया।
- विधि व्याख्यात्मक भिन्नता 99% से ऊपर रखते हुए लगभग पूर्ण पुनर्निर्माण फिडेलिटी बनाए रखती है।
- क्रॉस-मॉडल विश्लेषण बहुमोडल विशेषताओं की दोनों मॉडैलिटीज़ के लिए अर्थशास्त्रीय सुसंगतता में 3.08% की औसत वृद्धि और मोनोसेमांटिसिटी स्कोर में 2.37% की औसत वृद्धि दिखाता है।
विज़ुअल स्ट्रक्चरल प्रायर्स का लाभ उठाकर, S²AE न्यूरॉनल मोनोसेमांटिसिटी को बढ़ावा देता है, जिससे मॉडैलिटीज़ के बीच अधिक सहसंबद्ध और अलग-थलग प्रतिनिधित्व विकसित होते हैं।