शोधकर्ताओं ने रिक्वेन्शियल कोडिंग पेश की है, एक विधि जो टीचर मॉडल द्वारा स्टूडेंट के वितरण से नमूने चुनकर प्रशिक्षण ट्रैजेक्टरी को कोड करके पैरामीटर-आधारित संपीड़न की सीमाओं को पार कर जाती है। यह दृष्टिकोण केवल उन बिट्स को रिकॉर्ड करता है जहां टीचर और स्टूडेंट असहमत होते हैं, जिससे कोड लंबाई पैरामीटर गिनती और डेटा एन्ट्रॉपी से स्वतंत्र हो जाती है।
- विधि अक्सर प्रीक्वेन्शियल कोडिंग की तुलना में कई गुना छोटे कोड उत्पन्न करती है, और लाभ बढ़ते स्केल के साथ बढ़ते हैं।
- बड़े मॉडल और एनसेम्बल कम हानि बनाए रखने पर भी अधिक पैरामीटर होने के बावजूद छोटे आकार में संपीड़ित होते हैं।
- PAC-Bayes बाउंड में जोड़ा गया, रिक्वेन्शियल कोड अरबों पैरामीटर वाले LLMs के लिए राज्य-कला सामान्यीकरण गारंटी देता है।
- तकनीक सीखने योग्य जानकारी को यादृच्छिक सामग्री से अलग करती है, यह प्रकट करते हुए कि कम एन्ट्रॉपी वाला पाठ उच्च एन्ट्रॉपी वाले छवि डेटा की तुलना में अधिक संरचना रखता है।
यह संपीड़न विधि गणना-अनुकूल क्षेत्र में कसकर सामान्यीकरण बाउंड प्रदान करती है और बहु-आवर्त प्रशिक्षण के दौरान क्रमिक ओवरफिटिंग की भविष्यवाणी करती है।