研究者たちは、ビジョン・ランゲージモデルにおいてバニラSAEが抱えるモダリティ一貫性のある概念の学習の課題に対処するため、構造化スパース自己符号化器（S²AE）を提案した。この手法は、Transformerの注意類似性と空間的近接性に基づいて画像パッチをグループ化し、意味的および空間的一貫性を強制するために構造化スパarsity正則化を適用する。

  • Qwen2.5-VL-7B-Instructで評価され、S²AEは意味的アライメント（mIoU）で平均6.06%の向上と、表現効率（低いl0ノルム）で60.81の数値を達成した。
  • このアプローチは、説明分散が99%を超えることで、ほぼ完璧な再構成忠実度を維持する。
  • 横断的モダリティ解析により、両方のモダリティで意味的一貫性で平均3.08%の向上と、単一意味性スコアで平均2.37%の向上が示された。

潜在ニューロンを明確に区別され、意味的に根ざした概念に特化させることで、S²AEは視覚的およびテキスト的な入力全体でより一貫性があり、分離された表現を促進する。