Les chercheurs présentent un cadre théorique expliquant l'émergence des capacités de raisonnement inductif dans les modèles de langage Transformers en étudiant une classe généralisée de tâches inductives qui unifie des tâches synthétiques comme les n-grams in-contexte et le raisonnement multi-sauts.
- La dynamique d'apprentissage des modèles d'attention est prouvée être confinée à une variété invariante de faible dimension hautement interprétable.
- La dynamique d'apprentissage sur cette variété est capturée par quelques coordonnées interprétables plutôt que par des millions de paramètres.
- Le cadre caractérise comment les statistiques des données gouvernent la compétition entre l'apprentissage in-contexte et l'apprentissage dans les poids.
- Les initialisations aléatoires déterminent le circuit 'gagnant' lorsque plusieurs solutions sont possibles.
- Le repère de coordonnées associé à la variété peut être utilisé pour détecter automatiquement quels circuits ont été appris dans les modèles entraînés.
En formulant la formation des circuits comme un phénomène dynamique de faible dimension, ce travail fait un pas vers une théorie prédictive de l'apprentissage des Transformers.