Исследователи представляют теоретическую рамку, объясняющую возникновение способностей к индуктивному рассуждению в языковых моделях Трансформер, изучая обобщенный класс индуктивных задач, который объединяет синтетические задачи, такие как n-граммы в контексте и многоступенчатое рассуждение.

  • Динамика обучения моделей внимания доказуемо ограничена высокоинтерпретируемым многомерным инвариантным многообразием низкой размерности.
  • Динамика обучения на этом многообразии описывается несколькими интерпретируемыми координатами, а не миллионами параметров.
  • Рамка характеризует то, как статистика данных управляет конкуренцией между обучением в контексте и обучением в весах.
  • Случайные начальные условия определяют «победившую» цепь, когда возможны несколько решений.
  • Система координат, связанная с многообразием, может быть использована для автоматического обнаружения того, какие цепи были изучены в обученных моделях.

Рассматривая формирование цепей как низкомерное динамическое явление, эта работа делает шаг к предсказательной теории о том, как Трансформеры учатся.