يقترح الباحثون طريقة Super، وهي طريقة تدريب دقيق متناثرة وفعّالة من حيث المعاملات، تثبت دعامة قابلة للتعلم صغيرة باستخدام درجات حجم مرجحة بالنشاط على نمط Wanda المحسوبة من تمرير معايرة. كما يقدمون Supra، وهو محوّل هجين يدمج هذا التحديث المتناثر مع LoRA مع الحفاظ على ميزانية معاملات قابلة للتعلم متطابقة عبر قاعدة بسيطة لتقسيم الميزانية.
- تستخدم Super دعامة ثابتة يتم اختيارها بواسطة درجات حجم مرجحة بالنشاط على نمط Wanda.
- يدمج Supra التحديث المتناثر مع LoRA باستخدام قاعدة تقسيم الميزانية.
- في تجارب Math17K على Llama-3.2-1B و Meta-Llama-3-8B، حققت متغيرات Super/Supra أعلى متوسط دقة بين تكوينات المحوّل المختارة حسب الجدول الزمني التي تم اختبارها.
- عملت دعامة تعتمد فقط على الحجم على نمط PaFi كخط أساس متناثر لا يتطلب تدريباً.
تشير النتائج إلى أن الترتيبات البسيطة المستوحاة من التقليم يمكن أن توفر دعامات متناثرة ثابتة مفيدة لـ PEFT، خاصة عند دمجها مع محولات منخفضة الرتبة.