लेखकों ने ShortOPD का प्रस्ताव किया है, जो एक शॉर्ट-टू-लॉंग ऑन-पॉलिसी डिस्टिलेशन शेड्यूल है जिसे संरचित-प्रuned बड़े भाषा मॉडलों की जनरेटिव क्षमताओं को रिकवर करने के लिए डिज़ाइन किया गया है जो फ्री-फॉर्म जनरेशन के दौरान कॉलैप्स हो जाते हैं। टीचर-कन्फर्म्ड रिपीटिटिव सफिक्स का पता लगाकर और बचे हुए प्रीफिक्स को इफेक्टिव रोलआउट लंबाई के रूप में मानकर, विधि स्टैंडर्ड अप्रोच की तुलना में ट्रेनिंग बजट को अधिक कुशलता से अलाट करती है।
- ShortOPD कंप्रेस मॉडल स्कोर को लगभग 9 गुना उनके नॉन-रिकवर वैल्यू तक और SFT बिना KD, KD, और SeqKD जैसे स्टैंडर्ड रिकवरी रेसिपी के मुकाबले 1.6–4.4 गुना बढ़ाता है, जो गणित, कोड और ओपन-एंडेड जनरेशन टास्क में होता है।
- विधि फिक्स्ड 8192-टोकन रोलआउट हॉराइजन को दो पॉइंट के अंतर के साथ मैच करती है, जबकि ट्रेनिंग समय का केवल एक चौथाई (8.5 बनाम 35.9 घंटे) और 71% कम रोलआउट टोकन का उपयोग करती है।
यह दृष्टिकोण संरचित प्रूनिंग को परप्लेक्सिटी और मल्टीपल-चॉइस बेंचमार्क में मार्जिनल गेन से आगे ले जाने के लिए उद्देशित है, कंप्रेस मॉडल्स को डेप्लॉयमेंट-रेडी जनरेशन क्वालिटी के करीब लाता है।