शोधकर्ता एक छोटे, सस्ते टीचर मॉडल से बड़े टारगेट मॉडल में सत्यापित पुरस्कारों के साथ रीइन्फोर्समेंट लर्निंग को स्थानांतरित करने के लिए डायरेक्ट ऑन-पॉलिसी डिस्टिलेशन (Direct-OPD) का प्रस्ताव देते हैं। यह विधि टीचर की post-RL और pre-RL पॉलिसियों के बीच log-ratio को छात्र के लिए एक घन अंतर्निहित पुरस्कार के रूप में मानती है, जिससे टारगेट पर स्पष्ट पुरस्कार मॉडल या विरल-पुरस्कार RL की आवश्यकता से बचा जाता है।
- Direct-OPD post-RL टीचर की तुलना उसकी अपनी pre-RL संदर्भ रेखा से करता है ताकि एक घन अंतर्निहित पुरस्कार सिग्नल बनाया जा सके।
- यह दृष्टिकोण स्पष्ट पुरस्कार मॉडल को प्रशिक्षित किए बिना इस सिग्नल को मजबूत छात्र के अपने on-policy स्टेट्स पर लागू करता है।
- यह कई पॉलिसी शिफ्ट्स का क्रमागत संयोजन सक्षम बनाता है और step-matched सीधे RL से बेहतर प्रदर्शन करता है।
यह तकनीक मॉडल स्केल के पार RL परिणामों को अंतर्निहित पुरस्कार सिग्नल के रूप में पुनः उपयोग करने की अनुमति देती है, जिससे बड़े मॉडलों में तर्कशक्ति (reasoning capabilities) में महत्वपूर्ण सुधार होता है।