शोधकर्ताओं ने ResonatorLM पेश किया, एक नया तंत्र जो आत्म-ध्यान को भौतिकी-निर्मित विकल्प से बदल देता है जो टोकन अनुक्रमों को एक ड्राइवन वन-डायमेंशनल लैटेंट फ़ील्ड के रूप में मानता है। यह दृष्टिकोण लंबे संदर्भों के प्रसंस्करण में दक्षता बढ़ाने के लिए डैंप्ड रेज़ोनेटरों के कारण कार्यों का उपयोग करता है।
6M पैरामीटर की एक छोटी सेटिंग में, मॉडल 32K टोकन पर एक अनुकूलित ट्रान्सफ़ॉर्मर की तुलना में 6.47x डिकोड स्पीडअप हासिल करता है। यह WikiText पर 61.31 प्रतिशत सटीकता भी प्राप्त करता है, जो बेलाइन के 55.32 प्रतिशत को पार करता है।
ResonatorLM प्रदर्शित करता है कि अनुनादी क्षेत्र मिश्रण के साथ ध्यान को बदलने से अनुक्रम लंबाई बढ़ने पर प्रशिक्षण और प्रीफिल स्पीडअप में महत्वपूर्ण वृद्धि हो सकती है, जबकि प्रतिस्पर्धी सटीकता बनाए रखी जाती है।