SAO introduit l'optimisation asynchrone à rollout unique pour un entraînement RL agentique stable

L'article présente Single-rollout Asynchronous Optimization (SAO), une méthode conçue pour répondre aux défis de stabilité et hors politique dans l'apprentissage par renforcement asynchrone pour les grands modèles de langage. En remplaçant l'échantillonnage par groupe par un échantillonnage à rollout unique, cette approche réduit les effets hors politique et améliore la généralisation lors de tâches agentiques à long terme.

• SAO remplace l'échantillonnage par groupe de GRPO par un échantillonnage à rollout unique, utilisant un rollout par invite pour atténuer les problèmes hors politique.
• La méthode introduit une stratégie stricte de clipping au niveau des tokens sur les deux côtés pour assurer la stabilité de l'optimisation.
• Elle surpasse systématiquement GRPO et ses variantes sur les benchmarks agentiques de codage et de raisonnement, notamment SWE-Bench Verified, BeyondAIME et IMOAnswerBench.
• SAO a été déployé avec succès dans le pipeline RL agentique pour l'entraînement du modèle open GLM-5.2 (750B-A40B).

Les auteurs démontrent que le RL à rollout unique est particulièrement efficace dans les paramètres d'apprentissage en ligne simulés où les modèles doivent s'adapter à des environnements évolutifs, offrant une alternative plus stable aux systèmes asynchrones existants.