Sparse AutoEncoder Terstruktur memaksa konsistensi konsep di seluruh modalitas

Peneliti mengusulkan Sparse AutoEncoder Terstruktur (S²AE) yang mengatasi perjuangan SAE biasa dalam mempelajari konsep yang konsisten antar modalitas pada model visi-bahasa. Metode ini mengelompokkan patch gambar berdasarkan kesamaan perhatian Transformer dan kedekatan spasial, menerapkan regularisasi sparsity terstruktur untuk memaksa konsistensi semantik dan spasial.

• Dievaluasi pada Qwen2.5-VL-7B-Instruct, S²AE mencapai peningkatan rata-rata 6,06% dalam keselarasan semantik (mIoU) dan 60,81 dalam efisiensi representasi (l0 norm yang lebih rendah).
• Pendekatan ini mempertahankan kesetiaan rekonstruksi hampir sempurna dengan Varians Terjelas di atas 99%.
• Analisis lintas modalitas menunjukkan peningkatan rata-rata 3,08% dalam konsistensi semantik dan peningkatan rata-rata 2,37% dalam skor monosemantis untuk kedua modalitas.

Dengan mendorong neuron laten untuk berspesialisasi dalam konsep yang berbeda dan berlandaskan semantik, S²AE mendorong representasi yang lebih koheren dan terurai di seluruh input visual dan teksual.