Les chercheurs proposent un cadre unifié pour diagnostiquer pourquoi les modèles vision-langage échouent en distinguant les goulots d'étranglement de la reconnaissance visuelle des déficits de récupération des connaissances. L'étude examine si les signaux pré-génération peuvent prédire ces sources spécifiques d'échec sur divers ensembles de données et familles de modèles.
- Les échecs résultant de goulots d'étranglement visuels ou de reconnaissance sont mieux capturés par les représentations de jetons visuels.
- Les erreurs persistantes après l'identification des entités sont mieux prédites par les états cachés conditionnés par le prompt.
- Ces signaux pré-génération permettent une prédiction efficace de la source d'échec avant que le modèle ne produise une réponse.
- Les cas incertains peuvent être acheminés vers des interventions ciblées telles que la réparation d'image, le soutien à la reconnaissance d'entités ou la récupération externe.
Cette approche permet un diagnostic plus précis de l'incertitude dans les VLM, permettant des actions correctives spécifiques plutôt que de traiter les réponses incorrectes comme des échecs monolithiques.