実験的フレームワークは、生成中のTinyLlamaにおける隠れ状態の軌跡をマッピングし、ランタイム観測ツールを作成します。ノルム、曲率、エントロピーなどの指標をクラスタリングすることで、システムは意味内容ではなく反復する動的領域を特定します。

  • アトラクタマップは、軌跡が時間を費やす場所とレジーム間の遷移を追跡します。
  • 軌跡のセグメンテーションは、固定された推論段階を仮定せずにランタイムダイナミクスの変化を自動的に検出します。
  • 直交回転やDTW誘導の補正などの実験的介入は、軌跡統計情報を成功裏に変更します。
  • しかし、幾何学を変更しても、推論が確実に改善されるわけでも、意味的な正しさが保証されるわけでもありません。

この研究は、隠れ状態ダイナミクスの観察は可能であるものの、それらの制御は依然として未解決の問題であり、ランタイムの安定性が正しい回答を保証するものではないと結論付けています。