Sebuah studi menyelidiki bagaimana informasi visual dialirkan di dalam model visi-bahasa (VLM) menggunakan patching kausal pada dataset sintetis dan alami. Penelitian ini mengidentifikasi dua mekanisme utama: jalur langsung di mana data visual tetap berada di token gambar, dan jalur yang dimediasi teks di mana informasi ditransfer ke token kueri terlebih dahulu.
- Model memanfaatkan jalur langsung dengan mempertahankan informasi visual dalam representasi token gambar untuk dibaca nanti.
- Jalur yang dimediasi teks melibatkan transfer data visual ke token kueri sebelum token akhir memprosesnya.
- Pemilihan jalur bergantung pada tugas spesifik, distribusi data, dan desain prompt.
- Knockout perhatian dan patching input yang rusak menunjukkan bahwa model dapat dengan fleksibel beralih ke jalur yang dimediasi teks sebagai cadangan ketika jalur utama diablasi.
Temuan ini memberikan karakterisasi mekanistik dari aliran informasi visual dalam VLM dan menyoroti fleksibilitas mekanisme internalnya di bawah intervensi.