Исследование изучает, как визуальная информация маршрутизируется внутри моделей зрения и языка (VLMs) с помощью каузального патчинга на синтетических и естественных наборах данных. Исследование выявило два основных механизма: прямой путь, при котором визуальные данные остаются в токенах изображений, и опосредованный текстом путь, при котором информация сначала передается в запросные токены.
- Модели используют прямой путь, сохраняя визуальную информацию в представлениях токенов изображений для последующего считывания.
- Опосредованный текстом путь включает передачу визуальных данных в запросные токены до того, как финальный токен обработает их.
- Выбор пути зависит от конкретной задачи, распределения данных и дизайна промпта.
- Отключение внимания и патчинг поврежденных входных данных демонстрируют, что модели могут гибко переключаться на опосредованный текстом путь в качестве резервного варианта, когда основной маршрут устранен.
Эти результаты обеспечивают механистическую характеристику потока визуальной информации в VLMs и подчеркивают гибкость их внутренних механизмов при вмешательстве.