SAO引入单轮次异步优化以实现稳定的智能体强化学习训练

本文介绍了单次滚动异步优化（SAO），这是一种旨在解决大型语言模型异步强化学习中稳定性和离策略挑战的方法。通过用单次滚动采样替换组级采样，该方法减少了离策略效应，并改善了长程智能体任务期间的泛化能力。

• SAO 将 GRPO 的组级采样替换为单次滚动采样，使用每个提示一个滚动来缓解离策略问题。
• 该方法引入了严格的双侧令牌级裁剪策略，以确保优化稳定性。
• 在包括 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench 在内的智能体编码和推理基准测试中，它始终优于 GRPO 及其变体。
• SAO 已成功部署在用于训练开源 GLM-5.2 模型（750B-A40B）的智能体强化学习管道中。

作者证明，单次滚动强化学习在模拟在线学习环境中特别有效，在这些环境中模型必须适应不断变化的环境，为现有的异步系统提供了更稳定的替代方案。