पत्र में Single-rollout Asynchronous Optimization (SAO) प्रस्तुत किया गया है, एक विधि जिसे बड़े भाषा मॉडलों के लिए असिंक्रोनस रीइन्फोर्समेंट लर्निंग में स्थिरता और ऑफ-पॉलिसी चुनौतियों को संबोधित करने के लिए डिज़ाइन किया गया है। ग्रुप-वाइज सैंपलिंग को सिंगल-रोलआउट सैंपलिंग से बदलकर, दृष्टिकोण ऑफ-पॉलिसी प्रभावों को कम करता है और लंबे-अवधि एजेंटिक कार्यों के दौरान सामान्यीकरण में सुधार करता है।
- SAO GRPO की ग्रुप-वाइज सैंपलिंग को सिंगल-रोलआउट सैंपलिंग से बदल देता है, ऑफ-पॉलिसी मुद्दों को कम करने के लिए प्रत्येक प्रॉम्प्ट के लिए एक रोलआउट का उपयोग करता है।
- विधि अनुकूलन स्थिरता सुनिश्चित करने के लिए एक कठोर डबल-साइड टोकन-लेवल क्लिपिंग रणनीति पेश करती है।
- यह SWE-Bench Verified, BeyondAIME और IMOAnswerBench सहित एजेंटिक कोडिंग और तर्क बेंचमार्क्स पर GRPO और इसके वेरिएंट्स की तुलना में निरंतर बेहतर प्रदर्शन करता है।
- SAO को खुले GLM-5.2 मॉडल (750B-A40B) के प्रशिक्षण के लिए एजेंटिक RL पाइपलाइन में सफलतापूर्वक तैनात किया गया है।
लेखकों ने दिखाया है कि सिंगल-रोलआउट RL विशेष रूप से सिम्युलेटेड ऑनलाइन लर्निंग सेटिंग्स में प्रभावी है जहां मॉडलों को विकसित होते वातावरण के लिए अनुकूलित करना होता है, मौजूदा असिंक्रोनस सिस्टम के लिए एक अधिक स्थिर विकल्प प्रदान करता है।