研究者たちは、コンテキスト内n-gramsやマルチホップ推論といった合成タスクを統一する一般化された帰納的タスクのクラスを研究することで、トランスフォーマー言語モデルにおける帰納的推論能力の出現を説明する理論的枠組みを提示した。

  • アテンションモデルの学習ダイナミクスは、解釈可能な低次元の不変多様体に制限されることが証明された。
  • この多様体上の学習ダイナミクスは、数百万のパラメータではなく、少数の解釈可能な座標によって捉えられる。
  • この枠組みは、データ統計がコンテキスト内学習と重み内学習の競争をどのように支配するかを特徴づける。
  • 複数の解が存在する場合、ランダムな初期化が「勝利する」回路を決定する。
  • 多様体に関連する座標系を使用して、訓練済みモデルでどの回路が学習されたかを自動的に検出できる。

回路形成を低次元の動的現象として捉えることで、この研究はトランスフォーマーがどのように学習するかに関する予測理論への一歩を踏み出す。