शोधकर्ताओं ने SLORR पेश किया है, जो एक फ्रेमवर्क है जो प्रशिक्षण के दौरान निम्न-रैंक नियमिताकरण के लिए है और यह स्टेटलेस और आर्किटेक्चर-संरक्षक है। यह मॉडल को संशोधित किए बिना या कैश्ड मात्राओं पर निर्भर किए बिना वजन मैट्रिक्स को नियमित करने के लिए GPU-अनुकूल सन्निकटन का उपयोग करता है।
- SLORR में Hoyer विरलता माप और नाभिकीय नॉर्म पर आधारित प्रकार शामिल हैं।
- ImageNet-1K पर मूल्यांकन दिखाता है कि यह ResNet और ViT मॉडलों के लिए 8% से कम प्रशिक्षण ओवरहेड के साथ संपीड्यता उत्पन्न करता है।
- 135M और 560M स्केल पर LLM प्रीट्रेनिंग पर परीक्षण दिखाते हैं कि संपीडित मॉडल बिना नियमिता वाले मॉडलों की तुलना में बेहतर प्रदर्शन को बनाए रखते हैं, जिसमें औसत ओवरहेड 1% से कम है।