一项研究表明，对学习的查询-键（Q/K）投影进行基于FFT的谱预处理，能显著改善字符级语言建模中的Transformer注意力。

  • 在TinyShakespeare上，固定的随机谱滤波器达到val=1.031，而四个跨越段落到词级的学习频率达到val=0.309，相比标准点积注意力减少了79%。
  • 单频结果在三个随机种子中得到确认，平均val为0.236，标准差为0.019。

这四个频率收敛到一个近几何的多尺度排序（49, 27, 10, 6 token/周期），分别对应段落、子段落、短语和词级。

增益特定于谱预处理；随机的正交和非正交投影未产生可测量的改进。

因果滤波器在字符级分词上并未优于标准注意力，因为双边FFT核在结构上是不可因果的。

这项工作定义了双谱注意力和真正因果谱注意力之间的架构边界，这与FNet不同，后者用token嵌入的傅里叶混合替换了注意力。