一项新研究提出，模型选择的旋转位置嵌入（RoPE）频率是为了匹配其训练数据的相对距离结构，而不是均匀使用。作者形式化了场分辨率的权衡，表明最优频率尺度与数据诱导的依赖分布宽度成反比。

  • 对于宽度为W的依赖分布，最优RoPE频率按1/W缩放。
  • 语言模型中的中低频带源于自然语言的多尺度依赖结构。
  • 降低频率会扩大有效场但降低分辨率，当更长上下文的依赖是训练依赖的近似拉伸时，这有助于泛化。
  • 自然语言在位置尺度上表现出近似自相似性，这解释了为什么测试时的频率缩放支持长上下文泛化。

结果确定了RoPE使用中数据驱动机制，并表明长上下文泛化取决于学习频率与依赖如何扩展到更长上下文之间的尺度匹配。