Los investigadores proponen la Entropía Semántica Visual (VSE), un método que mide la incertidumbre en los modelos de visión y lenguaje perturbando solo la imagen mientras se mantiene fija la consulta de texto. Este enfoque aborda el fallo de los métodos existentes basados en entropía para capturar con precisión la ambigüedad visual debido a embeddings excesivamente seguros o al dominio textual.
- VSE agrupa las respuestas generadas en prototipos semánticos y calcula la dispersión ponderada por masa entre ellos.
- El método aísla la evidencia visual de la sensibilidad al prompt evitando la paráfrasis textual.
- La evaluación en cinco modelos modernos de visión y lenguaje y cinco benchmarks VQA diversos demuestra su efectividad.
- VSE establece un nuevo SOTA para la estimación de incertidumbre en VLM.
Los autores consideran esto importante porque proporciona una medida más precisa de la ambigüedad visual, superando las limitaciones de técnicas anteriores que dependían de la diversidad de salidas o perturbaciones de entrada.