Pesquisadores propõem um framework unificado para diagnosticar por que modelos de visão e linguagem falham, distinguindo entre gargalos de reconhecimento visual e déficits de recuperação de conhecimento. O estudo investiga se sinais pré-generação podem prever essas fontes específicas de falha em vários conjuntos de dados e famílias de modelos.
- Falhas decorrentes de gargalos visuais ou de reconhecimento são melhor capturadas por representações de tokens visuais.
- Erros que persistem após a identificação de entidades são melhor previstos por estados ocultos condicionados pelo prompt.
- Esses sinais pré-generação permitem a previsão eficiente da fonte de falha antes que o modelo produza uma resposta.
- Casos incertos podem ser roteados para intervenções direcionadas, como reparo de imagem, suporte ao reconhecimento de entidades ou recuperação externa.
Esta abordagem permite um diagnóstico mais preciso da incerteza em VLMs, habilitando ações corretivas específicas em vez de tratar respostas incorretas como falhas monolíticas.