एक अध्ययन दिखाता है कि सीखी गई क्वेरी-की (Q/K) प्रक्षेपणों पर FFT-आधारित स्पेक्ट्रल पूर्वप्रसंस्करण वर्ण-स्तर की भाषा मॉडलिंग में ट्रान्सफॉर्मर ध्यान को काफी बेहतर बनाता है।
- TinyShakespeare पर, एक स्थिर यादृच्छिक स्पेक्ट्रल फ़िल्टर val=1.031 प्राप्त करता है, जबकि पैराग्राफ से शब्द स्तर तक फैले चार सीखी गई आवृत्तियाँ val=0.309 प्राप्त करती हैं, जो मानक डॉट-प्रोडक्ट ध्यान की तुलना में 79% की कमी दर्शाती हैं।
- एकल-आवृत्ति परिणाम तीन यादृच्छिक बीजों पर पुष्टि होता है जिसका माध्य val 0.236 और std 0.019 है।
चार आवृत्तियाँ लगभग ज्यामितीय बहु-स्तर क्रम (49, 27, 10, 6 टोकन/चक्र) की ओर अभिसरण करती हैं जो पैराग्राफ, उप-पैराग्राफ, वाक्यांश और शब्द स्तरों से संगत है।
लाभ स्पेक्ट्रल पूर्वप्रसंस्करण के लिए विशिष्ट हैं; यादृच्छिक लंबकोणीय और अलंबकोणीय प्रक्षेपण कोई मापनीय सुधार नहीं उत्पन्न करते।
- कारण फ़िल्टर वर्ण-स्तर टोकनाइजेशन पर मानक ध्यान की तुलना में बेहतर नहीं हैं, क्योंकि द्विपक्षीय FFT कर्नेल संरचनात्मक रूप से अकारणिक है।
यह कार्य द्विपक्षीय स्पेक्ट्रल ध्यान और सच्चे कारण स्पेक्ट्रल ध्यान के बीच एक आर्किटेक्चरल सीमा को परिभाषित करता है, जो FNet से भिन्न है जो टोकन एम्बेडिंग्स के फूरियर मिश्रण के साथ ध्यान को प्रतिस्थापित करता है।