Um estudo demonstra que o pré-processamento espectral baseado em FFT das projeções aprendidas query-key (Q/K) melhora substancialmente a atenção do transformer na modelagem de linguagem em nível de caracteres.

  • No TinyShakespeare, um filtro espectral aleatório fixo alcança val=1.031, enquanto quatro frequências aprendidas que abrangem escala de parágrafo até palavra alcançam val=0.309, representando uma redução de 79% em relação à atenção de produto escalar padrão.
  • O resultado de frequência única é confirmado em três sementes aleatórias com val médio de 0.236 e desvio padrão de 0.019.

As quatro frequências convergem para uma ordenação multiescala quase geométrica (49, 27, 10, 6 tokens/ciclo) correspondente às escalas de parágrafo, subparágrafo, frase e palavra.

Os ganhos são específicos ao pré-processamento espectral; projeções aleatórias ortogonais e não ortogonais não produzem melhoria mensurável.

Filtros causais não melhoram em relação à atenção padrão na tokenização em nível de caracteres, pois o núcleo FFT bilateral é estruturalmente não causal.

Este trabalho define uma fronteira arquitetural entre a atenção espectral bilateral e a atenção espectral genuinamente causal, distinta do FNet, que substitui a atenção pela mistura de Fourier das embeddings de tokens.