पत्र में Neuron On-Policy Self-Distillation (Neuron-OPSD) पेश किया गया है, जो डेटा-केंद्रित एक फ्रेमवर्क है जो बड़े भाषा मॉडलों के लिए प्रशिक्षण-डेटा चयन और शिक्षक संदर्भ निर्माण को मार्गदर्शन करने के लिए आंतरिक न्यूरॉन सक्रियण का लाभ उठाता है। यह दृष्टिकोण भूमि-सत्य लेबल या वास्तविक-दुनिया इंटरैक्शन फीडबैक की आवश्यकता के बिना एनोटेशन-मुक्त सेल्फ-डिस्टिलेशन को सक्षम बनाता है।
- मौजूदा तरीकों की कमी को दूर करता है जहाँ SFT- और GRPO-आधारित वेरिएंट डोमेन के बाहर प्रदर्शन में गिरावट का अनुभव करते हैं, और पुरस्कार-आधारित ऑन-पॉलिसी RL कैलिब्रेशन त्रुटि को बढ़ाता है।
- प्रशिक्षण-डेटा चयन और शिक्षक संदर्भ निर्माण दोनों को मार्गदर्शन करने के लिए आंतरिक न्यूरॉन सक्रियण का उपयोग करता है।
- शिक्षक वितरण से ऑन-पॉलिसी डिस्टिलेशन के माध्यम से मॉडल को प्रशिक्षित करता है, जिसमें किसी भी चरण में भूमि-सत्य लेबल की आवश्यकता नहीं होती है।
Neuron-OPSD पूर्व एनोटेशन-मुक्त बेलाइनों की तुलना में डोमेन के अंदर कार्य प्रदर्शन को सुधारता है जबकि क्रॉस-डोमेन सामान्यीकरण को बनाए रखता है और कैलिब्रेशन पतन को कम करता है। यह फ्रेमवर्क उन सेटिंग्स के लिए विशेष रूप से प्रासंगिक है जहाँ ऑनलाइन इंटरैक्शन या बाहरी पर्यवेक्षण महंगा या असंभव है।