Les chercheurs proposent l'entropie sémantique visuelle (VSE), une méthode qui mesure l'incertitude dans les modèles vision-langue en perturbant uniquement l'image tout en maintenant la requête textuelle fixe. Cette approche répond à l'échec des méthodes basées sur l'entropie existantes à capturer avec précision l'ambiguïté visuelle due à des embeddings trop confiants ou à la domination textuelle.
- Le VSE regroupe les réponses générées en prototypes sémantiques et calcule la dispersion pondérée par la masse entre ceux-ci.
- La méthode isole la preuve visuelle de la sensibilité au prompt en évitant le paraphrasage textuel.
- L'évaluation sur cinq modèles vision-langue modernes et cinq benchmarks VQA diversifiés démontre son efficacité.
- Le VSE établit un nouvel état de l'art pour l'estimation de l'incertitude des VLM.
Les auteurs considèrent cela important car cela fournit une mesure plus précise de l'ambiguïté visuelle, surmontant les limites des techniques précédentes qui dépendaient de la diversité des sorties ou des perturbations des entrées.