लेखकों ने चयनित महत्वपूर्ण नमूनाकरण (SIS) प्रस्तावित किया है, एक प्लग-इन विधि जो पोस्ट-ट्रेनिंग में ऑफ-पॉलिसी रीइन्फोर्समेंट लर्निंग के दौरान टोकन-स्तर की महत्वपूर्ण अनुपातों के कारण होने वाले प्रसरण विस्फोट को संबोधित करती है। SIS ऑफ-पॉलिसी मॉडल को एक प्रस्तावित वितरण के रूप में मानता है और स्वीकृत टोकन्स को ऑन-पॉलिसी डेटा में परिवर्तित करने के लिए टोकन-स्तर का अस्वीकृति परीक्षण लागू करता है, जिससे उन टोकन्स के लिए महत्वता सुधार स्कोर की आवश्यकता समाप्त हो जाती है।
- SIS सैद्धांतिक प्रमाण के माध्यम से टोकन-स्तर और अनुक्रम-स्तर ऑफ-पॉलिसी ग्रेडिएंट अनुमानकों के बीच अंतर को कम करता है।
- विधि केवल पॉलिसी हानि में महत्वता अनुपात को संशोधित करती है, जिसमें नगण्य वॉल-क्लॉक ओवरहेड जुड़ता है।
- यह RL पोस्ट-ट्रेनिंग एल्गोरिदमों की एक विस्तृत श्रृंखला के साथ संगत है।
- गणित और एजेंट बेंचमार्क्स पर घन और MoE LLMs पर प्रयोगों से ऑफ-पॉलिसी डेटा के तहत स्थिर सुधार और मजबूत रॉबस्टनेस दिखाई देती है।
यह दृष्टिकोण ऑफ-पॉलिसी डेटा के तहत काफी बेहतर रॉबस्टनेस प्रदान करता है, जबकि महत्वपूर्ण कंप्यूटेशनल लागत के बिना उद्देश्यों में लगातार सुधार करता है।