Les chercheurs enquêtent sur la raison pour laquelle les modèles vision-langage (VLM) peinent à compter les objets malgré l'encodage interne des bons comptes. Ils constatent que des sondes non linéaires peuvent détecter ces erreurs, révélant un désalignement entre les représentations internes et les sorties verbalisées.
- L'entraînement de sondes sur les activations de quatre VLM sur cinq ensembles de données montre que les modèles encodent souvent le bon compte même lorsqu'ils produisent la mauvaise réponse.
- L'analyse SVCCA révèle que les sondes entraînées sur les comptes de référence et les sorties du modèle occupent un sous-espace d'activation partiellement partagé, mais sont lues selon des directions désalignées.
- Une intervention de pilotage causal prouve que le renforcement de la direction des sondes identifiant le compte améliore les performances de comptage.
- Une méthode d'auto-correction guidée par détecteur relance le modèle uniquement lorsqu'un détecteur d'erreur interne prédit un échec.
Cette intervention au moment de l'inférence améliore la précision de comptage jusqu'à 15,6 points de pourcentage absolus sans aucune mise à jour des paramètres, établissant le sondage d'erreurs basé sur les activations comme un outil pratique pour améliorer les VLM.