В данном исследовании изучается, как модели визуального языка разрешают конфликты между визуальными доказательствами и запомненными мировыми знаниями путем объединения активационного патчинга с механистическим анализом в рамках трех семейств моделей. Исследование выявляет разреженный каузальный контур, где визуальное заземление является режимом по умолчанию, а его переопределение с помощью предварительных знаний требует специфических голов внимания.
- Визуальное заземление возникает по умолчанию, тогда как заземление на основе предварительных знаний зависит от небольшого набора каузально необходимых голов внимания (2,5–4,8%), сконцентрированных во второй половине сети.
- Эти головы обеспечивают ответы на основе сохраненных мировых знаний вопреки противоречивым визуальным входным данным, устанавливая асимметричную каузальную структуру.
- Аблирование этих голов меняет предсказания с ответов, основанных на знаниях, на ответы, основанные на визуальных данных, в 68–96% случаев при использовании промптов с предварительными знаниями.
- Выявленные головы раскладываются на маршрутизирующие головы, которые модулируют поток информации, и пишущие головы, которые напрямую проецируют токены ответов в остаточный поток.
Эта структура согласуется во всех семействах моделей и масштабах, выявляя разреженный каузальный контур, лежащий в основе конфликта восприятия и знаний в VLM.