एक अध्ययन दर्शाता है कि सेक्शन-अवेयर कम्प्रेशन स्व-डिस्टिल्ड तर्क ट्रेस की अनुमति देता है Qwen3.5-4B और Gemma-4-12b मॉडल मूल प्रदर्शन को मिलाने या बढ़ाने के लिए काफी कम टोकन का उपयोग करते हुए। व्याख्या को संकुचित करते समय गणना और सत्यापन स्पैन को बनाए रखकर, विधि फ्लैट कम्प्रेशन से जुड़े ग्रिडी डिकोडिंग विफलताओं से बचती है।
- फ्लैट कम्प्रेशन ग्रिडी डिकोडिंग को विफल कर देता है, तापमान 0 पर GSM8K समस्याओं के 93% पर लूप करता है।
- सेक्शन-अवेयर कम्प्रेशन GSM8K पर अनकंप्रेस्ड SFT नियंत्रण की तुलना में +.15 सटीकता बढ़ाता है जबकि ~1.7x कम टोकन का उपयोग करता है।
- सिस्टम प्रॉम्प्ट के बिना प्रशिक्षित करना और उसके साथ सेवा देना सबसे अच्छे परिणाम देता है, क्योंकि प्रॉम्प्ट दक्षता ट्रिगर के रूप में कार्य करता है।
- पहचान प्रॉम्प्ट के माध्यम से कम्प्रेशन व्यवहार को टॉगल किया जा सकता है, जिससे मॉडल संक्षिप्त तर्क और अनकंप्रेस्ड आउटपुट के बीच स्विच कर सकता है।
- एक मजबूत टीचर मॉडल ने अनकंप्रेस्ड SFT की तुलना में खराब परिणाम दिए, जिससे संकेत मिलता है कि ट्रेस को छात्र के वितरण के पास रहना चाहिए।
- दृष्टिकोण बड़े मॉडल पर प्रभावी रूप से स्थानांतरित होता है; Gemma-4-12b ने GSM8K पर .86 सटीकता हासिल की 1,679 टोकन पर जबकि मूल के लिए 3,753 पर .57 था।
शोध इस बात पर प्रकाश डालता है कि गणना स्पैन को बनाए रखना समाप्ति को एंकर करता है और दक्षता में सुधार करता है, जिसमें पूरा कोड, मॉडल और डेटासेट उपलब्ध कराए गए हैं।