Um novo estudo propõe que as frequências de Rotary Position Embeddings (RoPE) são selecionadas pelos modelos para corresponder à estrutura de distância relativa de seus dados de treinamento, em vez de serem usadas uniformemente. Os autores formalizam uma compensação de resolução de campo, mostrando que as escalas de frequência ótimas são inversamente proporcionais à largura do perfil de dependência induzido pelos dados.
- Para um perfil de dependência de largura W, a frequência RoPE ótima escala como 1/W.
- As bandas de frequências médias-baixas em modelos de linguagem surgem da estrutura de dependência multiescala da linguagem natural.
- Reduzir as frequências expande o campo efetivo, mas reduz a resolução, auxiliando na generalização quando as dependências de contexto mais longo são dilatações aproximadas das dependências de treinamento.
- A linguagem natural exibe auto-similaridade aproximada em escalas posicionais, o que explica por que a escala de frequências no tempo de teste suporta a generalização de contexto longo.
Os resultados identificam um mecanismo orientado por dados por trás do uso emergente de RoPE e demonstram que a generalização de contexto longo depende da correspondência de escalas entre as frequências aprendidas e como as dependências se estendem para contextos mais longos.