تقدم الورقة بحث Single-rollout Asynchronous Optimization (SAO)، وهي طريقة مصممة لمعالجة تحديات الاستقرار والسياسة الخارجية في التعلم التعزيزي غير المتزامن للنماذج اللغوية الكبيرة. من خلال استبدال أخذ العينات حسب المجموعة بأخذ عينات rollout واحد، يقلل هذا النهج من تأثيرات السياسة الخارجية ويحسن التعميم أثناء المهام الوكيلية طويلة المدى.
- تستبدل SAO أخذ العينات حسب مجموعة GRPO بأخذ عينات rollout واحد، باستخدام rollout واحد لكل طلب لتخفيف مشاكل السياسة الخارجية.
- تقدم الطريقة استراتيجية تشذيب صارمة على مستوى الرموز من الجانبين لضمان استقرار التحسين.
- تتفوق بشكل متسق على GRPO ومتغيراته في معايير التقييم الوكيلية للبرمجة والاستدلال بما في ذلك SWE-Bench Verified وBeyondAIME وIMOAnswerBench.
- تم نشر SAO بنجاح في خط أنابيب RL الوكيل لتدريب نموذج GLM-5.2 المفتوح (750B-A40B).
يُظهر المؤلفون أن RL بـ rollout واحد فعال بشكل خاص في إعدادات التعلم عبر الإنترنت المحاكية حيث يجب على النماذج التكيف مع البيئات المتطورة، مما يوفر بديلاً أكثر استقراراً من الأنظمة غير المتزامنة الحالية.