शोधकर्ताओं ने SLORR का परिचय दिया, जो एक स्टेटलेस और आर्किटेक्चर-प्रिजर्विंग फ्रेमवर्क है ट्रेनिंग के दौरान लो-रैंक रेगुलराइजेशन के लिए जो SVDs या अतिरिक्त ट्रेनेबल पैरामीटर की आवश्यकता से बचता है। विधि मूल वेट मैट्रिक्स को रेगुलराइज़ करने के लिए GPU-फ्रेंडली अप्रोक्सीमेशन का उपयोग करती है, जो Hoyer sparsity metric और न्यूक्लियर नॉर्म वेरिएंट्स के माध्यम से इन्स्टैंशिएटेड होती है।
- ImageNet-1K पर ResNet-50, ViT-B/16, ViT-L/16, और ResNet-18 के साथ मूल्यांकन किया गया, SLORR 8% से कम ट्रेनिंग ओवरहेड के साथ कंप्रेसिबिलिटी उत्पन्न करता है।
- 135M और 560M स्केल पर LLM प्रीट्रेनिंग में, SLORR-Hoyer संकुचित मॉडलों को अरेगुलराइज्ड मॉडलों की तुलना में काफी बेहतर प्रदर्शन बनाए रखने की अनुमति देता है जबकि औसत ट्रेनिंग ओवरहेड में 1% से कम जोड़ता है।
यह दृष्टिकोण कंप्यूटेशनल दक्षता को महत्वपूर्ण रूप से प्रभावित किए बिना या अंतर्निहित आर्किटेक्चर को बदले बिना ट्रेनिंग के दौरान प्रभावी मॉडल कंप्रेशन सक्षम बनाता है।