यह कार्य एक कठोर फ्रोजन-बैकबोन रिजीम में स्टेट अपडेट डिज़ाइन के प्रभाव को अलग करके, कैजुअल सेल्फ-एटेंशन के वर्ग लागत का समाधान करता है। लेखक दिखाते हैं कि softmax कुंजी-निर्भर, रैंक-1 ऑर्थोगोनल प्रक्षेपण पर निर्भर करता है, जो समझाता है कि डेल्टा-स्टाइल नेटवर्क शुद्ध गेटेड एकुम्यूलेशन से बेहतर क्यों हैं।
- सन्निकटन त्रुटियों के एक संभावित स्रोत की पहचान करता है और sink tokens, छोटी कन्वोल्यूशन, और फिक्स्ड-बजट कैश रूटिंग सहित संरचनात्मक हस्तक्षेप पेश करता है।
- LLaMA और Qwen मॉडल में 32B पैरामीटर तक रैखिकीकरण दृष्टिकोण को स्केल करता है।
- MMLU पर पूर्व पोस्ट होक बेलाइन से बेहतर प्रदर्शन करता है और जटिल एडाप्टिव-कैशिंग फ्रेमवर्क्स की लॉन्ग-कंटेक्स्ट रीट्रीवल के बराबर है।
यह अध्ययन दक्षता बनाए रखते हुए, रैखिकीकृत Transformers में प्रदर्शन अंतर को कम करने का एक तरीका प्रदान करता है।