Sebuah studi menunjukkan bahwa pra-pemrosesan spektral berbasis FFT dari proyeksi query-key (Q/K) yang dipelajari secara substansial meningkatkan perhatian transformer pada pemodelan bahasa tingkat karakter.

  • Pada TinyShakespeare, filter spektral acak tetap mencapai val=1.031, sementara empat frekuensi yang dipelajari yang mencakup skala paragraf hingga kata mencapai val=0.309, mewakili pengurangan 79% dibandingkan dengan perhatian hasil kali titik standar.
  • Hasil frekuensi tunggal dikonfirmasi di tiga seed acak dengan rata-rata val sebesar 0,236 dan std 0,019.
  • Keempat frekuensi konvergen ke urutan multi-skala hampir geometris (49, 27, 10, 6 token/siklus) yang sesuai dengan skala paragraf, sub-paragraf, frasa, dan kata.
  • Peningkatan spesifik untuk pra-pemrosesan spektral; proyeksi acak ortogonal dan non-ortogonal tidak menghasilkan peningkatan yang terukur.
  • Filter kausal tidak meningkatkan perhatian standar pada tokenisasi tingkat karakter, karena kernel FFT bilateral secara struktural tidak kausal.

Karya ini mendefinisikan batas arsitektural antara perhatian spektral bilateral dan perhatian spektral yang benar-benar kausal, berbeda dari FNet yang mengganti perhatian dengan pencampuran Fourier embedding token.