本論文は、Single-rollout Asynchronous Optimization (SAO) を提示しています。これは、大規模言語モデルにおける非同期強化学習の安定性とオフポリシーの問題に対処するために設計された手法です。グループごとのサンプリングを単一ロールアウトサンプリングに置き換えることで、このアプローチはオフポリシーの影響を軽減し、長期のエージェント型タスクにおける汎化性能を向上させます。

  • SAOはGRPOのグループごとのサンプリングを単一ロールアウトサンプリングに置き換え、プロンプトごとに1つのロールアウトを使用してオフポリシーの問題を緩和します。
  • この手法は、最適化の安定性を確保するために厳格な両側トークンレベルのクリッピング戦略を導入しています。
  • SWE-Bench Verified、BeyondAIME、IMOAnswerBenchを含むエージェント型コーディングおよび推論ベンチマークにおいて、GRPOとその派生手法を一貫して上回っています。
  • SAOは、オープンソースのGLM-5.2モデル（750B-A40B）のトレーニング用エージェント型RLパイプラインで正常にデプロイされています。

著者たちは、単一ロールアウトRLが、モデルが進化する環境に適応しなければならないシミュレーションされたオンライン学習設定において特に効果的であることを示しており、既存の非同期システムよりも安定した代替手段を提供しています。