学習されたクエリ-キー（Q/K）射影のFFTベースのスペクトル前処理が、文字レベルの言語モデリングにおいてトランスフォーマーの注意力を大幅に改善することを研究が示している。

  • TinyShakespeareにおいて、固定されたランダムなスペクトルフィルタはval=1.031を達成する一方、段落から単語スケールまで spanning する4つの学習済み周波数はval=0.309を達成し、標準的なドット積注意力と比較して79%の削減を実現した。
  • 単一周波数の結果は3つのランダムシードにわたって確認され、平均valは0.236、標準偏差は0.019であった。
  • 4つの周波数は、段落、サブ段落、フレーズ、および単語スケールに対応するほぼ幾何学的なマルチスケール順序（49、27、10、6 トークン/サイクル）に収束した。
  • 改善はスペクトル前処理に固有のものであり、ランダムな直交および非直交射影は測定可能な改善をもたらさない。
  • 因果フィルタは、双方向FFTカーネルが構造的に因果的でないため、文字レベルのトークン化において標準的な注意力を上回る改善を示さない。

本研究は、双方向スペクトル注意力と本質的に因果的なスペクトル注意力の間、およびアテンションをトークン埋め込みのフーリエ混合で置き換えるFNetとは異なるアーキテクチャ的境界を定義する。