تُظهر دراسة أن المعالجة المسبقة الطيفية القائمة على تحويل فورييه السريع (FFT) لإسقاطات الاستعلام-المفتاح (Q/K) المُتعلمة تُحسّن بشكل كبير انتباه المحولات في نمذجة اللغة على مستوى الأحرف.
- على TinyShakespeare، يحقق مرشح طيفي عشوائي ثابت val=1.031، بينما تحقق أربع ترددات مُتعلمة تمتد من مستوى الفقرة إلى مستوى الكلمة val=0.309، مما يمثل انخفاضاً بنسبة 79% مقارنة بانتباه الضرب النقطي القياسي.
- تم تأكيد نتيجة التردد الواحد عبر ثلاث بذور عشوائية بمتوسط val يبلغ 0.236 وانحراف معياري 0.019.
- تتقارب الترددات الأربعة إلى ترتيب متعدد المقاييس شبه هندسي (49، 27، 10، 6 رمز/دورة) يتوافق مع مستويات الفقرة، ما دون الفقرة، العبارة، والكلمة.
- التحسينات محددة بالمعالجة المسبقة الطيفية؛ فالإسقاطات العشوائية المتعامدة وغير المتعامدة لا تُنتج تحسناً قابلاً للقياس.
- المرشحات السببية لا تحسن الانتباه القياسي في ترميز الرموز على مستوى الأحرف، لأن نواة تحويل فورييه الثنائي غير سببية هيكلياً.
يُعرّف هذا العمل حدوداً معمارية بين الانتباه الطيفي الثنائي والانتباه الطيفي السببي الحقيقي، وهو مختلف عن FNet الذي يستبدل الانتباه بخلط فورييه لرموز التضمين.