"Steer on a Sphere: Geometric Control of Transformer Outputs" というタイトルのプレプリントは、トランスフォーマーの隠れ状態の幾何学を分析し、それらが次元サイズではなく層ごとのRMSNormスケールによって定義される球面上に存在することを見出しました。この半径はDeepSeek-7BやMistral-7Bなどのアーキテクチャ間で大きく異なります。

主な発見には、LM-head方向に沿って1歩進むと語彙ランク1の91–98%に到達する接線横断や、特定のトークンが自己強化された不動点として機能し無限の繰り返しを引き起こす「cow tipping」が含まれます。この研究はNULLバイトなどのトリガーを使用した防御的エンコーディングの脆弱性も特定し、いくつかのアーキテクチャで0.5付近のリアプノフ率クラスタリングを指摘しています。

著者はこれらの幾何学的性質を提示し、トークンロックやスクレイパーに対する潜在的なセキュリティ影響など、特定のトランスフォーマーの動作を説明していますが、この幾何学的図は近似であると注記しています。