Les chercheurs ont réussi à démêler les représentations internes de la connaissance de la résolubilité mathématique et de la verbalisation au sein des grands modèles de langage, montrant qu'elles sont encodées sous forme de vecteurs distincts et linéairement décodable. L'étude révèle que la fabrication du modèle est principalement pilotée par des changements dans la verbalisation plutôt que par les connaissances sous-jacentes.
- La connaissance et la verbalisation sont identifiées comme des directions latentes séparées dans les états cachés du modèle à travers plusieurs LLM.
- La fabrication est corrélée avec des déplacements dans les représentations de la verbalisation plutôt qu'avec la connaissance fondamentale de la résolubilité.
- Le prompting avec des indices d'irrésolubilité réduit la fabrication en déplaçant la direction de la verbalisation.
- Le pilotage de l'activation (Activation steering) peut manipuler mécaniquement ces représentations pour améliorer l'abstention du modèle.
Ce travail permet l'analyse et la manipulation indépendantes des croyances en matière de résolubilité, permettant un contrôle plus efficace de lorsque les modèles devraient s'abstenir de répondre.