Los investigadores presentan un marco teórico que explica la emergencia de habilidades de razonamiento inductivo en modelos de lenguaje Transformer estudiando una clase generalizada de tareas inductivas que unifica tareas sintéticas como n-gramas en contexto y razonamiento multi-salto.
- Se demuestra que la dinámica de entrenamiento de los modelos de atención está confinada a una variedad invariante de baja dimensión altamente interpretable.
- La dinámica de aprendizaje en esta variedad se captura mediante un puñado de coordenadas interpretables en lugar de millones de parámetros.
- El marco caracteriza cómo las estadísticas de los datos gobiernan la competencia entre el aprendizaje en contexto y el aprendizaje en pesos.
- Las inicializaciones aleatorias determinan el 'circuito' ganador cuando son posibles múltiples soluciones.
- El marco de coordenadas asociado con la variedad puede usarse para detectar automáticamente qué circuitos han sido aprendidos en los modelos entrenados.
Al plantear la formación de circuitos como un fenómeno dinámico de baja dimensión, este trabajo da un paso hacia una teoría predictiva de cómo aprenden los Transformers.