研究人员提出了一种结构化稀疏自编码器（S²AE），它从语义和空间两个角度在视觉-语言模型的视觉模态中强制执行概念一致性。该方法基于 Transformer 注意力相似性和空间邻近度对图像块进行分组，引入结构化稀疏正则化以驱动潜在神经元走向不同的、具有语义基础的概念。

  • 在 Qwen2.5-VL-7B-Instruct 上评估，S²AE 在语义对齐（mIoU）方面实现了 6.06% 的平均提升，在表示效率（较低的 l0 范数）方面达到了 60.81。
  • 该方法保持了近乎完美的重建保真度，解释方差超过 99%。
  • 跨模态分析显示，多模态特征的两种模态的语义一致性平均提升了 3.08%，单义性得分平均提升了 2.37%。

通过利用视觉结构先验，S²AE 增强了神经元的单义性，促进了跨模态更连贯且解耦的表示。