Une étude démontre que le prétraitement spectral basé sur la FFT des projections apprises de requête-clé (Q/K) améliore considérablement l'attention des transformateurs dans la modélisation du langage au niveau des caractères.
- Sur TinyShakespeare, un filtre spectral aléatoire fixe atteint val=1.031, tandis que quatre fréquences apprises couvrant l'échelle du paragraphe à celle du mot atteignent val=0.309, représentant une réduction de 79 % par rapport à l'attention par produit scalaire standard.
- Le résultat à fréquence unique est confirmé sur trois graines aléatoires avec une moyenne val de 0,236 et un écart-type de 0,019.
- Les quatre fréquences convergent vers un ordre multi-échelle presque géométrique (49, 27, 10, 6 tokens/cycle) correspondant aux échelles du paragraphe, sous-paragraphe, phrase et mot.
- Les gains sont spécifiques au prétraitement spectral ; les projections aléatoires orthogonales et non orthogonales ne produisent aucune amélioration mesurable.
- Les filtres causaux n'améliorent pas l'attention standard au niveau du tokenisation des caractères, car le noyau FFT bilatéral est structurellement non causal.
Ce travail définit une frontière architecturale entre l'attention spectrale bilatérale et l'attention spectrale véritablement causale, distincte de FNet qui remplace l'attention par un mélange de Fourier des embeddings de tokens.