Un estudio demuestra que el preprocesamiento espectral basado en FFT de las proyecciones aprendidas consulta-clave (Q/K) mejora sustancialmente la atención del transformador en la modelización del lenguaje a nivel de caracteres.
- En TinyShakespeare, un filtro espectral aleatorio fijo logra val=1.031, mientras que cuatro frecuencias aprendidas que abarcan desde el escala de párrafo hasta la de palabra logran val=0.309, lo que representa una reducción del 79% en comparación con la atención de producto escalar estándar.
- El resultado de frecuencia única se confirma en tres semillas aleatorias con un val medio de 0.236 y std de 0.019.
Las cuatro frecuencias convergen a un ordenamiento multiescala casi geométrico (49, 27, 10, 6 tokens/ciclo) correspondiente a las escalas de párrafo, subpárrafo, frase y palabra.
Las ganancias son específicas del preprocesamiento espectral; las proyecciones aleatorias ortogonales y no ortogonales no producen ninguna mejora medible.
Los filtros causales no mejoran respecto a la atención estándar en la tokenización a nivel de caracteres, ya que el núcleo FFT bilateral es estructuralmente no causal.
Este trabajo define un límite arquitectónico entre la atención espectral bilateral y la atención espectral genuinamente causal, distinto de FNet, que reemplaza la atención con la mezcla de Fourier de las incrustaciones de tokens.