Новая теоретическая основа объясняет возникновение способностей к индуктивному рассуждению в языковых моделях Трансформер, изучая обобщенный класс индуктивных задач, который объединяет синтетические задачи, такие как n-граммы в контексте и многоступенчатое рассуждение.
- Динамика обучения моделей внимания ограничена высокоинтерпретируемым многообразием низкой размерности.
- Динамика обучения на этом многообразии описывается несколькими интерпретируемыми координатами, а не миллионами параметров.
- Основа характеризует то, как статистика данных управляет конкуренцией между обучением в контексте и в весах.
- Случайные начальные условия определяют «победившую» схему, когда возможны несколько решений.
- Система координат, связанная с многообразием, может быть использована для автоматического обнаружения того, какие схемы были изучены в обученных моделях.
Рассматривая формирование схем как динамическое явление низкой размерности, эта работа делает шаг к предсказательной теории о том, как Трансформеры учатся.