研究者らは、ビジョン・ランゲージモデルの視覚モダリティにおいて、意味的および空間的な観点から概念の一貫性を強制する構造化スパース自己符号化器（S²AE）を提案した。この手法は、Transformerのアテンション類似性と空間的近接性に基づいて画像パッチをグループ化し、潜在ニューロンを明確で意味的に根拠のある概念へ向かわせるために構造化スパース正則化を導入する。

  • Qwen2.5-VL-7B-Instructで評価した結果、S²AEは意味的アライメント（mIoU）で平均6.06%の向上、表現効率（低いl0ノルム）で60.81を達成した。
  • このアプローチは、説明分散が99%を超えるほぼ完璧な再構築忠実度を維持する。
  • モダリティ間の分析により、マルチモーダル特徴の両方のモダリティにおいて、意味的一貫性で平均3.08%の向上、単一意味性スコアで平均2.37%の向上が示された。

視覚的構造事前知識を活用することで、S²AEはニューロンの単一意味性を高め、マルチモーダル間でより一貫性があり分離された表現を促進する。