Peneliti menyelidiki mengapa model visi-bahasa (VLM) kesulitan menghitung objek meskipun mengodekan jumlah yang benar secara internal. Mereka menemukan bahwa probe nonlinier dapat mendeteksi kesalahan ini, mengungkapkan ketidakselarasan antara representasi internal dan output yang diverbalkan.
- Melatih probe pada aktivasi dari empat VLM di lima dataset menunjukkan bahwa model sering mengodekan jumlah yang benar meskipun mengeluarkan jawaban yang salah.
- Analisis SVCCA mengungkapkan bahwa probe yang dilatih pada jumlah ground-truth dan output model menempati subruang aktivasi yang sebagian bersama, tetapi dibaca sepanjang arah yang tidak selaras.
- Intervensi steering kausal membuktikan bahwa memperkuat arah probe pengenal jumlah meningkatkan kinerja penghitungan.
- Metode koreksi diri terpandu detektor secara selektif mem-prompt ulang model hanya ketika detektor kesalahan internal memprediksi kegagalan.
Intervensi waktu inferensi ini meningkatkan akurasi penghitungan hingga 15,6 poin persentase absolut tanpa pembaruan parameter apa pun, menetapkan probing kesalahan berbasis aktivasi sebagai alat praktis untuk meningkatkan VLM.