Исследование показывает, что основанная на БПФ спектральная предобучка выученных проекций запрос-ключ (Q/K) существенно улучшает внимание трансформера при моделировании языка на уровне символов.

  • На TinyShakespeare фиксированный случайный спектральный фильтр даёт val=1.031, тогда как четыре выученные частоты, охватывающие масштаб от абзаца до слова, дают val=0.309, что представляет собой снижение на 79% по сравнению со стандартным скалярным произведением.
  • Результат с одной частотой подтверждён на трёх случайных семенах со средним val 0.236 и std 0.019.

Четыре частоты сходятся к почти геометрическому мультимасштабному упорядочиванию (49, 27, 10, 6 токенов/цикл), соответствующему масштабам абзаца, подабзаца, фразы и слова.

Приросты специфичны для спектральной предобработки; случайные ортогональные и неортогональные проекции не дают измеримого улучшения.

Каузальные фильтры не превосходят стандартное внимание при токенизации на уровне символов, поскольку двустороннее ядро БПФ структурно некаузально.

Эта работа определяет архитектурную границу между двусторонним спектральным вниманием и по-настоящему каузальным спектральным вниманием, отличной от FNet, который заменяет внимание Фурье-смешиванием вложений токенов.