一个新的理论框架通过研究一个广义的归纳任务类（统一了上下文n-gram和多跳推理等合成任务）来解释Transformer语言模型中归纳推理能力的涌现。

  • 注意力模型的训练动力学被限制在一个高度可解释的低维不变流形上。
  • 该流形上的学习动力学由少数几个可解释的坐标捕捉，而不是数百万个参数。
  • 该框架描述了数据统计如何支配上下文学习与权重内学习之间的竞争。
  • 当存在多个可能的解决方案时，随机初始化决定了“获胜”电路。
  • 与流形相关的坐标系可用于自动检测训练模型中已学习了哪些电路。

通过将电路形成视为低维动力学现象，这项工作朝着Transformer学习方式的预测理论迈出了一步。