研究人员提出了一种理论框架，通过研究一个广义的归纳任务类（统一了上下文n-gram和多跳推理等合成任务）来解释Transformer语言模型中归纳推理能力的涌现。

  • 注意力模型的训练动力学被证明局限于一个高度可解释的低维不变流形。
  • 该流形上的学习动力学由少数几个可解释坐标捕捉，而非数百万个参数。
  • 该框架描述了数据统计量如何支配上下文学习与权重内学习的竞争。
  • 当存在多个解时，随机初始化决定了“获胜”电路。
  • 与流形相关的坐标系可用于自动检测训练模型中已学习了哪些电路。

通过将电路形成视为低维动力学现象，这项工作朝着Transformer学习机制的可预测理论迈出了一步。