Новое исследование предполагает, что модели выбирают частоты Rotary Position Embeddings (RoPE) для соответствия структуре относительных расстояний их обучающих данных, а не используют их равномерно. Авторы формализуют компромисс между разрешением поля и показывают, что оптимальные масштабы частот обратно пропорциональны ширине профиля зависимостей, индуцированного данными.
- Для профиля зависимостей ширины W оптимальная частота RoPE масштабируется как 1/W.
- Диапазоны средних и низких частот в языковых моделях возникают из многомасштабной структуры зависимостей естественного языка.
- Снижение частот расширяет эффективное поле, но снижает разрешение, что способствует обобщению, когда зависимости более длинного контекста являются приближёнными растяжениями обучающих зависимостей.
- Естественный язык демонстрирует приближённую самоподобие на позиционных масштабах, что объясняет, почему масштабирование частот во время тестирования поддерживает обобщение для длинного контекста.
Результаты выявляют управляемый данными механизм возникновения использования RoPE и демонстрируют, что обобщение для длинного контекста зависит от совпадения масштабов между выученными частотами и тем, как зависимости распространяются на более длинные контексты.