本記事は、言語モデルにおける残差動態からセマンティック測定を分離するために設計された、アンカーベースの形式であるSemantic Reference Frames (SemRF)を紹介しています。このアプローチは、中間デコーディングにおいて層間で比較可能な読み取り座標が必要となる問題に対処するため、状態を基準とするアンカーを固定します。

  • SemRFは正確な同期のために擬似逆数紐付けを使用し、制限付き双可逆性のもとで安定したセマンティック基底座標をもたらす。
  • この手法は、距離またはロジットに基づいて各層を粗いセルに割り当てるが、セル内の運動は保持するセマンティックボロノイ図を誘導する。
  • 残差計算を深さ方向のセマンティック軌跡として追跡するために、層ごとのステップ、寄与プロファイル、不均衡診断を定義する。
  • カノニカルトレースは、マージン緩和されたチューブ内の最小作用経路として定義され、空でない場合は離散スプライン方程式に従う。
  • これらのトレースにおける低曲率は、区間線形圧縮性と局所知識密度を示し、トレースの複雑さが低いことがセマンティック自由度の減少と関連している。

著者らは、この枠組みがパラメータ効率と軌跡の複雑さの間の条件付きリンクを提供し、制御されたインターフェース誤差と射影残差制約を通じて残差計算を分析可能になると主張している。