Um estudo investiga como a informação visual é roteada dentro de modelos de visão e linguagem (VLMs) usando patching causal em conjuntos de dados sintéticos e naturais. A pesquisa identifica dois mecanismos principais: uma via direta onde os dados visuais permanecem nos tokens de imagem, e uma via mediada por texto onde a informação é transferida primeiro para os tokens de consulta.
- Os modelos utilizam uma via direta retendo a informação visual nas representações dos tokens de imagem para leitura posterior.
- Uma via mediada por texto envolve transferir dados visuais para os tokens de consulta antes que o token final os processe.
- A seleção da via depende da tarefa específica, da distribuição de dados e do design do prompt.
- Interrupções de atenção e patching de entradas corrompidas demonstram que os modelos podem alternar flexivelmente para a via mediada por texto como fallback quando a rota principal é ablated.
Esses achados fornecem uma caracterização mecanicista do fluxo de informação visual em VLMs e destacam a flexibilidade de seus mecanismos internos sob intervenção.