一项研究调查了如何使用因果修补技术在合成和自然数据集上在视觉语言模型 (VLMs) 内部路由视觉信息。该研究确定了两种主要机制：一种直接路径，其中视觉数据保留在图像标记中；另一种文本中介路径，其中信息首先转移到查询标记。
- 模型通过将在图像标记表示中保留视觉信息用于后续读取来利用直接路径。
- 文本中介路径涉及在最终标记处理之前将视觉数据转移到查询标记。
- 路径选择取决于特定任务、数据分布和提示设计。
- 注意力阻断和损坏输入修补表明，当主要路由被消融时，模型可以灵活地切换到文本中介路径作为后备方案。
这些发现提供了 VLMs 中视觉信息流的机制性描述，并强调了其在干预下内部机制的灵活性。