ある研究は、合成データセットと自然データセットに対する因果パッチングを用いて、視覚情報がビジョン言語モデル（VLM）内でどのようにルーティングされるかを調査している。この研究は2つの主要なメカニズムを特定した。1つは、視覚データが画像トークン内に留まる直接経路であり、もう1つは、情報がまずクエリトークンに転送されるテキスト媒介経路である。

  • モデルは、後続の読み出しのために画像トークン表現に視覚情報を保持することで、直接経路を利用する。
  • テキスト媒介経路では、最終トークンがそれを処理する前に、視覚データをクエリトークンへ転送することが含まれる。
  • 経路の選択は、特定のタスク、データ分布、プロンプト設計に依存する。
  • アテンションノックアウトと壊れた入力パッチングは、主要な経路がアブレーションされた場合、モデルがフォールバックとしてテキスト媒介経路に柔軟に切り替えられることを示している。

これらの知見は、VLMにおける視覚情報フローのメカニズム的記述を提供し、介入下での内部メカニズムの柔軟性を浮き彫りにする。