新しいプレプリントは、8つのローカルで計測された小規模なオープンTransformerモデルの隠れ状態ダイナミクスを分析し、内部表現が推論中に構造化された進行に従うかどうかを明らかにした。本研究は、モデル深さ方向に生じる変化と、自己回帰的生成時間とともに展開する変化を区別している。

  • モデル深さ方向の局所的順序付けはランダムな順列よりも有意に構造化されており（p = 0.00019996）、すべてのleave-one-model-outチェックで維持された。
  • モデル間深さプロファイルは高い整合性を示し、平均相関は約 r = 0.789 であった。
  • 機能的にラベル付けされた事象は正規化された層の深さと統計的に関連していた（p = 0.0024）。
  • 以前観察された共通の時間的パターンは拡張パネルで再現されず、leave-one-model-outチェックの8件中0件で生存した。
  • 機能的に類似した結果を持つモデルや、同じアーキテクチャファミリーからのモデルは、有意な構造的類似性を示さなかった。

これらの結果は、Transformer推論が深さ方向には再現可能な構造を含みつつ、時間と行動に対して非常に条件依存であることを示唆しており、普遍的な時間的ダイナミクスという考え方に挑戦するものである。