शोधकर्ताओं ने DemoPSD पेश किया, एक फ्रेमवर्क जो बड़े भाषा मॉडलों के लिए ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) में विशेषाधिकृत जानकारी के लीक होने और ओवरफिटिंग की समस्या को हल करता है। विधि छात्र को रिवर्स-KL बैरिसेंटर लक्ष्य की ओर निर्देशित करके शिक्षक के मार्गदर्शन का चयनात्मक रूप से उपयोग करती है, जिससे शिक्षक से सीखने और छात्र की तर्कशक्ति को बनाए रखने के बीच संतुलन बनता है।
- DemoPSD प्रत्येक टोकन स्थिति पर मिश्रण को अनुकूलित रूप से नियंत्रित करने के लिए वितरण अंतरों को मापता है।
- घनी टोकन-स्तर डिस्टिलेशन के तहत दृष्टिकोण लीक कमजोरकरण और अन्वेषण संरक्षण को सिद्ध रूप से प्राप्त करता है।
- चार वैज्ञानिक क्षेत्रों में SciKnowEval पर प्रयोग दिखाते हैं कि DemoPSD, GRPO और SDPO से बेहतर प्रदर्शन करता है।
- विधि उच्च प्रशिक्षण एन्ट्रॉपी बनाए रखती है और आउट-ऑफ-डिस्ट्रीब्यूशन GPQA बेंचमार्क्स पर मजबूती से सामान्यीकरण करती है।
DemoPSD छात्र द्वारा उन उत्तर-निर्भर शॉर्टकट्स को एन्कोड करने से रोककर OPSD में मौलिक समस्याओं को हल करता है, जो परीक्षण के समय अनुपलब्ध होते हैं, जिससे क्रॉस-डोमेन सामान्यीकरण में सुधार होता है।