Une nouvelle étude propose que les fréquences des embeddings de position rotatifs (RoPE) sont sélectionnées par les modèles pour correspondre à la structure de distance relative de leurs données d'entraînement, plutôt que d'être utilisées uniformément. Les auteurs formalisent un compromis de résolution de champ, montrant que les échelles de fréquence optimales sont inversement proportionnelles à la largeur du profil de dépendance induit par les données.
- Pour un profil de dépendance de largeur W, la fréquence RoPE optimale évolue comme 1/W.
- Les bandes de fréquences moyennes-basses dans les modèles de langage proviennent de la structure de dépendance multi-échelle du langage naturel.
- Réduire les fréquences élargit le champ effectif mais réduit la résolution, aidant à la généralisation lorsque les dépendances à long contexte sont des dilatations approximatives des dépendances d'entraînement.
- Le langage naturel présente une auto-similarité approximative à travers les échelles positionnelles, ce qui explique pourquoi l'échelle de fréquence au moment du test soutient la généralisation à long contexte.
Les résultats identifient un mécanisme piloté par les données derrière l'utilisation émergente de RoPE et démontrent que la généralisation à long contexte dépend de la correspondance d'échelle entre les fréquences apprises et la manière dont les dépendances s'étendent aux contextes plus longs.