Entropia Semântica Visual estabelece novo SOTA para estimativa de incerteza em VLM

Pesquisadores propõem a Entropia Semântica Visual (VSE), um método que mede a incerteza em modelos de visão e linguagem perturbando apenas a imagem enquanto mantém a consulta de texto fixa. Esta abordagem aborda a falha dos métodos existentes baseados em entropia em capturar com precisão a ambiguidade visual devido a embeddings excessivamente confiantes ou domínio textual.

• O VSE agrupa as respostas geradas em protótipos semânticos e calcula a dispersão ponderada pela massa entre eles.
• O método isola a evidência visual da sensibilidade ao prompt evitando parafraseamento textual.
• A avaliação em cinco modelos modernos de visão e linguagem e cinco benchmarks VQA diversos demonstra eficácia.
• O VSE estabelece um novo SOTA para estimativa de incerteza em VLM.

Os autores consideram isso importante porque fornece uma medida mais precisa da ambiguidade visual, superando as limitações de técnicas anteriores que dependiam da diversidade de saída ou perturbações de entrada.