Peneliti mengusulkan kerangka kerja terpadu untuk mendiagnosis mengapa model visi-bahasa gagal dengan membedakan antara hambatan pengenalan visual dan defisit pengambilan pengetahuan. Studi ini menyelidiki apakah sinyal pra-generasi dapat memprediksi sumber kegagalan spesifik ini di berbagai dataset dan keluarga model.
- Kegagalan yang timbul dari hambatan visual atau pengenalan paling baik ditangkap oleh representasi token visual.
- Kesalahan yang bertahan setelah identifikasi entitas lebih baik diprediksi oleh keadaan tersembunyi yang dikondisikan oleh prompt.
- Sinyal pra-generasi ini memungkinkan prediksi sumber kegagalan yang efisien sebelum model menghasilkan jawaban.
- Kasus yang tidak pasti dapat dialihkan ke intervensi tertarget seperti perbaikan gambar, dukungan pengenalan entitas, atau pengambilan eksternal.
Pendekatan ini memungkinkan diagnosis ketidakpastian yang lebih tepat pada VLM, memungkinkan tindakan korektif spesifik daripada menganggap jawaban salah sebagai kegagalan monolitik.