新しい研究では、回転位置埋め込み（RoPE）の周波数が、一様に使用されるのではなく、学習データの相対距離構造に合わせてモデルによって選択されると提案されている。著者たちは、フィールド分解能のトレードオフを定式化し、最適な周波数スケールがデータ誘発型の依存プロファイルの幅に反比例することを示した。
- 幅Wの依存プロファイルの場合、最適なRoPE周波数は1/Wとしてスケーリングされる。
- 言語モデルにおける中低周波数帯域は、自然言語の多層階層的依存構造から生じる。
- 周波数を下げることは有効なフィールドを広げるが分解能を低下させ、長い文脈の依存関係が学習データの依存関係のおおよその伸長である場合に一般化を助ける。
- 自然言語は位置スケール間で近似自己相似性を示し、これがテスト時の周波数スケーリングが長い文脈の一般化をサポートする理由を説明している。
これらの結果は、出現したRoPE使用の背後にあるデータ駆動型のメカニズムを特定し、長い文脈の一般化が学習された周波数と依存関係がより長い文脈にどのように拡張するかとのスケールマッチングに依存することを示している。