يقدم الباحثون إطار عمل SLORR للتنظيم منخفض الرتبة أثناء التدريب، وهو عديم الحالة ويحافظ على البنية. يستخدم تقريبات صديقة لوحدة معالجة الرسومات لتنظيم مصفوفات الأوزان دون تعديل النموذج أو الاعتماد على الكميات المخزنة مؤقتًا.
- تتضمن SLORR متغيرات تستند إلى مقياس التفرغ Hoyer والقيمة الطبيعية للنواة.
- أظهرت التقييمات على ImageNet-1K أنها تحفز الانضغاط بأقل من 8% من الحمل الإضافي للتدريب لنماذج ResNet وViT.
- أظهرت الاختبارات على التدريب المسبق للـ LLM بمقاييس 135M و560M أن النماذج المضغوطة تحافظ على الأداء بشكل أفضل من النماذج غير المنظمة بأقل من 1% من الحمل الإضافي المتوسط.