SAO memperkenalkan optimisasi asinkron single-rollout untuk pelatihan RL agentic yang stabil

Makalah ini menyajikan Single-rollout Asynchronous Optimization (SAO), sebuah metode yang dirancang untuk mengatasi tantangan stabilitas dan off-policy dalam pembelajaran penguatan asinkron untuk model bahasa besar. Dengan mengganti pengambilan sampel berbasis grup dengan pengambilan sampel single-rollout, pendekatan ini mengurangi efek off-policy dan meningkatkan generalisasi selama tugas agentic berjangka panjang.

• SAO menggantikan pengambilan sampel berbasis grup GRPO dengan pengambilan sampel single-rollout, menggunakan satu rollout per prompt untuk meredam masalah off-policy.
• Metode ini memperkenalkan strategi clipping token-level dua sisi yang ketat untuk memastikan stabilitas optimisasi.
• Metode ini secara konsisten mengungguli GRPO dan variasinya pada benchmark pemrograman dan penalaran agentic termasuk SWE-Bench Verified, BeyondAIME, dan IMOAnswerBench.
• SAO berhasil diimplementasikan dalam pipeline RL agentic untuk melatih model GLM-5.2 open (750B-A40B).

Para penulis menunjukkan bahwa RL single-rollout sangat efektif dalam pengaturan pembelajaran online simulasi di mana model harus beradaptasi dengan lingkungan yang berkembang, menawarkan alternatif yang lebih stabil dibandingkan sistem asinkron yang ada.