Los investigadores proponen un marco unificado para diagnosticar por qué fallan los modelos de visión e idioma, distinguiendo entre cuellos de botella del reconocimiento visual y déficits de recuperación de conocimiento. El estudio investiga si las señales previas a la generación pueden predecir estas fuentes específicas de fallo en varios conjuntos de datos y familias de modelos.
- Los fallos derivados de cuellos de botella visuales o de reconocimiento se capturan mejor mediante representaciones de tokens visuales.
- Los errores que persisten después de la identificación de entidades se predicen mejor mediante estados ocundos condicionados por el prompt.
- Estas señales previas a la generación permiten una predicción eficiente de la fuente del fallo antes de que el modelo produzca una respuesta.
- Los casos inciertos pueden dirigirse a intervenciones específicas como reparación de imagen, apoyo al reconocimiento de entidades o recuperación externa.
Este enfoque permite un diagnóstico más preciso de la incertidumbre en los VLMs, habilitando acciones correctivas específicas en lugar de tratar las respuestas incorrectas como fallos monolíticos.