शोधकर्ताओं ने Neuron On-Policy Self-Distillation (Neuron-OPSD) प्रस्तावित किया, जो एक डेटा-केंद्रित फ्रेमवर्क है जो बड़े भाषा मॉडलों के लिए ट्रेनिंग-डेटा चयन और टीचर संदर्भ निर्माण को मार्गदर्शित करने के लिए आंतरिक न्यूरॉन सक्रियण का लाभ उठाता है। यह दृष्टिकोण टीचर वितरण से ऑन-पॉलिसी डिस्टिलेशन के माध्यम से मॉडल को प्रशिक्षित करके एनोटेशन-मुक्त सेल्फ-डिस्टिलेशन सक्षम बनाता है, जिससे ग्राउंड-ट्रूथ लेबल्स की आवश्यकता समाप्त हो जाती है।
यह विधि मौजूदा एनोटेशन-मुक्त सेल्फ-इवोल्यूशन तकनीकों में सीमाओं को संबोधित करता है, जैसे कि SFT- और GRPO-आधारित वेरिएंट्स में आउट-ऑफ-डोमेन प्रदर्शन में गिरावट और रिवार्ड-आधारित ऑन-पॉलिसी RL में कैलिब्रेशन त्रुटि में वृद्धि। न्यूरॉन सक्रियण का उपयोग प्रक्रिया को मार्गदर्शित करने के लिए करके, Neuron-OPSD का उद्देश्य इन-डोमेन कार्य प्रदर्शन को बेहतर बनाने के साथ-साथ क्रॉस-डोमेन सामान्यीकरण को बनाए रखना है।
यह फ्रेमवर्क उन सेटिंग्स के लिए डिज़ाइन किया गया है जहाँ ऑनलाइन इंटरैक्शन या बाहरी पर्यवेक्षण महंगा या असंभव है, जो लॉग किए गए, रिवार्ड-लेबल्ड ट्राजेक्ट्रीज पर निर्भर ऑफ़लाइन RL दृष्टिकोणों के लिए एक अवधारणात्मक रूप से भिन्न विकल्प प्रदान करता है।