يعالج هذا العمل التكلفة التربيعية للانتباه السببي عن طريق عزل تأثير تصميم تحديث الحالة في نظام ثابت العمود الفقري بدقة. يُظهر المؤلفون أن softmax يعتمد على إسقاطات متعامدة رتبة-1 تعتمد على المفاتيح، مما يفسر سبب تفوق الشبكات بنمط دلتا على التراكم المعتمد على البوابات بشكل خالص.
- تحدد مصدرًا محتملاً لأخطاء التقريب وتدخل بتدخلات هيكلية تشمل رموز الحوض، والالتواءات القصيرة، وتوجيه ذاكرة التخزين المؤقت بميزانية ثابتة.
- توسع نهج التسوية عبر نماذج LLaMA و Qwen حتى 32 مليار معلمة.
- تتفوق على الأسس المرجعية اللاحقة (post hoc) السابقة على MMLU وتساوي استرجاع السياق الطويل لأطر عمل التخزين المؤكي التكيفي المعقدة.
توفر الدراسة طريقة لتقليل فجوة الأداء في المحولات المسوية مع الحفاظ على الكفاءة.