Une étude examine comment les informations visuelles sont routées au sein des modèles vision-langage (VLM) en utilisant le patching causal sur des ensembles de données synthétiques et naturels. La recherche identifie deux mécanismes principaux : une voie directe où les données visuelles restent dans les tokens d'image, et une voie médiée par le texte où l'information est transférée aux tokens de requête en premier.
- Les modèles utilisent une voie directe en conservant les informations visuelles dans les représentations des tokens d'image pour une lecture ultérieure.
- Une voie médiée par le texte implique le transfert des données visuelles vers les tokens de requête avant que le token final ne les traite.
- La sélection de la voie dépend de la tâche spécifique, de la distribution des données et de la conception du prompt.
- Les knockouts d'attention et le patching d'entrées corrompues montrent que les modèles peuvent passer de manière flexible à la voie médiée par le texte en tant que solution de repli lorsque la voie principale est ablatée.
Ces résultats fournissent une caractérisation mécaniste du flux d'informations visuelles dans les VLM et soulignent la flexibilité de leurs mécanismes internes sous intervention.