Para peneliti mengusulkan Entropi Semantik Visual (VSE), sebuah metode yang mengukur ketidakpastian dalam model visi-bahasa dengan mengganggu hanya gambar sambil menjaga kueri teks tetap tetap. Pendekatan ini mengatasi kegagalan metode berbasis entropi yang ada untuk menangkap ambiguitas visual secara akurat karena embedding yang terlalu percaya diri atau dominasi teks.
- VSE mengelompokkan jawaban yang dihasilkan ke dalam prototipe semantik dan menghitung dispersi berbobot massa di antaranya.
- Metode ini mengisolasi bukti visual dari sensitivitas prompt dengan menghindari parafrasa teks.
- Evaluasi melintasi lima model visi-bahasa modern dan lima benchmark VQA yang beragam menunjukkan efektivitasnya.
- VSE menetapkan state-of-the-art baru untuk estimasi ketidakpastian VLM.
Para penulis menganggap ini penting karena memberikan ukuran ambiguitas visual yang lebih akurat, mengatasi keterbatasan teknik sebelumnya yang mengandalkan keragaman output atau gangguan input.