शोधकर्ताओं ने Replayed-Prefix On-Policy Distillation (ReOPD) का प्रस्ताव दिया, जो एक ऑफ-एनवायरनमेंट विधि है जो पूर्ण ऑनलाइन ऑन-पॉलिसी डिस्टिलेशन के उच्च खर्च को दूर करने के लिए पूर्व-संग्रहित शिक्षक ट्रेजेक्टरीज़ को रीप्लेड प्रिफ़िक्स के रूप में पुनः उपयोग करती है। यह दृष्टिकोण छात्र को चयनित चरणों पर कार्य करने की अनुमति देता है जबकि शिक्षक नए एनवायरनमेंट इंटरैक्शन को निष्पादित किए बिना घनी प्रति-चरण निगरानी प्रदान करता है।
- ReOPD मल्टी-टर्न OPD में "प्रिफ़िक्स ट्रैप" को संबोधित करता है, जहाँ छात्र की प्रासंगिकता को बेहतर बनाने से शिक्षक से अविश्वसनीय इतिहास पर पूछताछ हो सकती है।
- यह वितरण शिफ्ट को प्रबंधित करने के लिए कम शिफ्ट वाले प्रारंभिक प्रिफ़िक्स पर जोर देने वाला एक चरण-घटती नमूनाकरण शेड्यूल लागू करता है।
- गणितीय तर्क और खोज वातावरण में, ReOPD प्रशिक्षण के दौरान शून्य टूल कॉल का उपयोग करते हुए सटीकता को बनाए रखता या सुधारता है।
- एजेंट-एनवायरनमेंट इंटरैक्शन को एक पुनः उपयोग योग्य ऑफलाइन संसाधन में बदलकर, विधि मानक OPD की तुलना में प्रत्येक प्रशिक्षण चरण पर कम से कम 4x तेज है।