Un nuevo estudio propone que las frecuencias de Rotary Position Embeddings (RoPE) son seleccionadas por los modelos para coincidir con la estructura de distancia relativa de sus datos de entrenamiento, en lugar de usarse uniformemente. Los autores formalizan un compromiso de resolución de campo, mostrando que las escalas de frecuencia óptimas son inversamente proporcionales al ancho del perfil de dependencia inducido por los datos.
- Para un perfil de dependencia de ancho W, la frecuencia RoPE óptima escala como 1/W.
- Las bandas de frecuencias medias-bajas en modelos de lenguaje surgen de la estructura de dependencia multiescala del lenguaje natural.
- Reducir las frecuencias expande el campo efectivo pero reduce la resolución, ayudando a la generalización cuando las dependencias de contexto más largo son dilataciones aproximadas de las dependencias de entrenamiento.
- El lenguaje natural exhibe auto-similitud aproximada en escalas posicionales, lo que explica por qué la escala de frecuencias durante el tiempo de prueba apoya la generalización de contexto largo.
Los resultados identifican un mecanismo impulsado por datos detrás del uso emergente de RoPE y demuestran que la generalización de contexto largo depende de la coincidencia de escalas entre las frecuencias aprendidas y cómo se extienden las dependencias a contextos más largos.