Peneliti mengusulkan kerangka kerja distilasi pikir-jawab baru yang meningkatkan kemampuan model bahasa-visi kompak untuk memanfaatkan bukti visual dengan melakukan masking pada prefix penalaran yang menonjol. Pendekatan ini mengatasi masalah "pelupakan visual" yang umum terjadi pada jejak pikir-jawab panjang, di mana siswa kehilangan fokus pada petunjuk visual selama penalaran yang diperpanjang.
Metode ini menggunakan masking prefix penalaran yang menonjol per token untuk memblokir secara selektif petunjuk teks dengan pengaruh tinggi dan strategi penjadwalan anggaran masking bertempo sendiri yang skalanya sesuai dengan kesulitan distilasi. Selama pelatihan, masker ini menggantikan masker kausal standar untuk memaksa model siswa lebih mengandalkan informasi visual untuk prediksi token berikutnya.
Hasil eksperimen menunjukkan bahwa pendekatan ini mengungguli VLM open-source terbaru, distilasi VLM, dan metode auto-distilasi pada benchmark penalaran multimodal, dengan analisis yang mengonfirmasi pemanfaatan visual yang meningkat sepanjang proses berpikir.