Le fine-tuning des grands modèles de langage entraîne souvent un « écart entre savoir et utiliser », où les modèles mémorisent de nouveaux faits mais échouent à les appliquer dans des tâches de raisonnement en aval. Pour enquêter sur ce phénomène, les chercheurs ont introduit une technique appelée auto-correction (self-patching) afin de surveiller la dynamique de pénétration spatiale du savoir au sein du modèle.
L'étude identifie que les représentations mémorisées peuvent exister en interne mais ne sont pas routées vers des couches efficaces pour le calcul, ce qui soutient l'hypothèse d'un désalignement des circuits de connaissance. L'auto-correction localise les sites d'activation où le déplacement des représentations améliore les cas de généralisation échoués. Une stratégie heuristique basée sur ces résultats permet de récupérer 58--75 % de l'amélioration potentielle en matière de généralisation.
Cette approche diagnostique aide à expliquer pourquoi le savoir mémorisé échoue à se généraliser et offre une méthode pour récupérer des gains de performance significatifs lors du fine-tuning des modèles.