独立した研究プロジェクトLIMENは、7つのオープンソースTransformerモデルの内部ダイナミクスを分析し、意味的不確実性が軌跡の幾何学を変化させ、アーキテクチャ間で普遍的な動的文法を発見しました。

  • 不確実性は軌跡の曲率とコサイン類似度を著しく変化させますが、グローバルなカオスを増加させるわけではありません。代わりに、Phi-1.5やLlama-3.2などの現代モデルは意思決定への関与を遅らせます。
  • すべてのテストされたモデルで7つの遷移モチーフからなる普遍的な文法が特定され、探索（B）→安定化/処理（A）→意思決定（D）のスキーマに従います。
  • 状態Aは自己遷移確率が約0.91の強いアトラクターとして機能し、Phi-1.5はその深さ全体を通じて複雑なB↔A振動を独自に維持します。

これらの知見は、Transformerの知能が制約された幾何学的ナビゲーションに依存していることを示唆しており、この文法への違反が幻覚を示す可能性があり、より精密な動的制御を可能にすることを意味します。