Para peneliti mengusulkan AutoEncoder Sparse Terstruktur (S²AE) yang memaksakan konsistensi konsep dari perspektif semantik dan spasial dalam modus visual model bahasa-penglihatan. Metode ini mengelompokkan patch gambar berdasarkan kesamaan perhatian Transformer dan kedekatan spasial, memperkenalkan regularisasi sparse terstruktur untuk mendorong neuron laten menuju konsep-konsep yang berbeda dan berdasar secara semantik.

  • Dievaluasi pada Qwen2.5-VL-7B-Instruct, S²AE mencapai peningkatan rata-rata 6,06% dalam keselarasan semantik (mIoU) dan 60,81 dalam efisiensi representasional (norma l0 yang lebih rendah).
  • Pendekatan ini mempertahankan fidelitas rekonstruksi hampir sempurna dengan Varians Terjelas di atas 99%.
  • Analisis lintas modus menunjukkan peningkatan rata-rata 3,08% dalam konsistensi semantik dan peningkatan rata-rata 2,37% dalam skor monosemantik untuk kedua modus fitur multimodal.

Dengan memanfaatkan prior struktural visual, S²AE meningkatkan monosemantik neuron, mendorong representasi yang lebih koheren dan terurai di seluruh modus.