يقدم الباحثون SLORR، وهو إطار عمل عديم الحالة ويحافظ على البنية لتنظيم الأوزان منخفض الرتبة أثناء التدريب يتجنب الحاجة إلى تحويلات SVD أو معاملات قابلة للتدريب إضافية. تستخدم الطريقة تقريبات ملائمة لوحدة معالجة الرسومات (GPU) لتنظيم مصفوفات الأوزان الأصلية، وتُنفذ عبر مقياس كثافة Hoyer ومتغيرات من المعيار النووي.
- تم تقييم SLORR على ImageNet-1K باستخدام ResNet-50 وViT-B/16 وViT-L/16 وResNet-18، حيث أدى إلى قابلية الضغط بتكلفة تدريب أقل من 8%.
- في التدريب المسبق للنماذج اللغوية الكبيرة (LLM) عند مقاييس 135M و560M، يسمح SLORR-Hoyer للنماذج المضغوطة بالحفاظ على الأداء بشكل أفضل بكثير من النماذج غير المنظمة مع إضافة أقل من 1% كمتوسط تكلفة التدريب.
يتيح هذا النهج ضغطًا فعالاً للنماذج أثناء التدريب دون التأثير بشكل كبير على الكفاءة الحسابية أو تغيير البنية الأساسية.