Un nouveau cadre théorique explique l'émergence des capacités de raisonnement inductif dans les modèles de langage Transformers en étudiant une classe généralisée de tâches inductives qui unifie des tâches synthétiques telles que les n-grams in-context et le raisonnement multi-sauts.
- La dynamique d'entraînement des modèles d'attention est confinée à une variété invariante de faible dimension hautement interprétable.
- La dynamique d'apprentissage sur cette variété est capturée par quelques coordonnées interprétables plutôt que par des millions de paramètres.
- Le cadre caractérise la manière dont les statistiques des données gouvernent la compétition entre l'apprentissage in-context et l'apprentissage dans les poids.
- Les initialisations aléatoires déterminent le circuit 'gagnant' lorsque plusieurs solutions sont possibles.
- Le repère de coordonnées associé à la variété peut être utilisé pour détecter automatiquement quels circuits ont été appris dans les modèles entraînés.
En considérant la formation des circuits comme un phénomène dynamique de faible dimension, ce travail fait un pas vers une théorie prédictive de l'apprentissage des Transformers.