حدّثت أعمال حديثة عن الأوزان الفائقة (Super Weights) على أنها معاملات فردية يؤدي حذفها إلى تدهور أداء النموذج بمقدار عدة مراتب عشرية، لكن هذه الدراسة تظهر أن تدريب هذه المعاملات المحددة غير فعال. يؤدي تدريب الأوزان الفائقة بشكل معزول على OLMo-1B وOLMo-7B إلى انخفاض الدقة إلى مستويات التخمين العشوائي، حتى عند التوسع إلى الجوار المحلي لـ 36 ألف معامل.
- يتسبب تدريب الأوزان الفائقة المعزولة في انهيار الأداء، بينما يؤدي تدريب عدد مساوٍ من المواقع المختارة عشوائياً إلى تحسين الأساس المرجعي.
- ينجح LoRA العادي مع 0.16% فقط من المعاملات من خلال تحديث كل موقع في مصفوفات أوزان الانتباه عبر بنية الرتبة المنخفضة.
- يؤدي تطبيق تحديث الرتبة المنخفضة نفسه على طبقات down_proj أيضاً إلى النجاح، بينما تؤدي تقييد تحديثات LoRA عند إحداثيات الأوزان الفائقة إلى نتائج لا يمكن تمييزها إحصائياً عن التخمين العشوائي.
تثبت هذه النتائج أن أهمية المعامل لا تعني إمكانية تدريبه بشكل معزول، وأن الضبط الدقيق الفعال يعتمد على التحليلات الهيكلية عبر الطبقات بأكملها بدلاً من استهداف الأوزان المهمة فردياً.