Un estudio investiga cómo se enruta la información visual dentro de los modelos de visión y lenguaje (VLMs) utilizando parcheo causal en conjuntos de datos sintéticos y naturales. La investigación identifica dos mecanismos principales: una vía directa donde los datos visuales permanecen en los tokens de imagen, y una vía mediada por texto donde la información se transfiere primero a los tokens de consulta.
- Los modelos utilizan una vía directa reteniendo la información visual en las representaciones de tokens de imagen para su posterior lectura.
- Una vía mediada por texto implica transferir datos visuales a los tokens de consulta antes de que el token final los procese.
- La selección de la vía depende de la tarea específica, la distribución de datos y el diseño del prompt.
- Las interrupciones de atención y el parcheo de entradas corruptas demuestran que los modelos pueden cambiar flexiblemente a la vía mediada por texto como respaldo cuando se abla la ruta principal.
Estos hallazgos proporcionan una caracterización mecanicista del flujo de información visual en VLMs y destacan la flexibilidad de sus mecanismos internos bajo intervención.