研究人员提出了一种结构化稀疏自编码器（S²AE），旨在解决普通 SAE 在视觉-语言模型中学习跨模态一致概念的困难。该方法基于 Transformer 注意力相似性和空间邻近度对图像块进行分组，并应用结构化稀疏正则化以强制执行语义和空间一致性。

  • 在 Qwen2.5-VL-7B-Instruct 上评估，S²AE 在语义对齐（mIoU）方面实现了 6.06% 的平均提升，在表示效率（较低的 l0 范数）方面达到了 60.81。
  • 该方法保持了近乎完美的重建保真度，解释方差超过 99%。
  • 跨模态分析显示，两种模态的语义一致性平均提升了 3.08%，单义性得分平均提升了 2.37%。

通过驱动潜在神经元专注于不同的、具有语义基础的概念，S²AE 促进了视觉和文本输入之间更连贯且解耦的表示。