В статье представлена Single-rollout Asynchronous Optimization (SAO), метод, разработанный для решения проблем стабильности и off-policy в асинхронном обучении с подкреплением для больших языковых моделей. Заменяя групповую выборку на однократную выборку, подход снижает эффекты off-policy и улучшает обобщение при выполнении долгосрочных агентных задач.

  • SAO заменяет групповую выборку GRPO на однократную выборку, используя один проход для каждого запроса, чтобы смягчить проблемы off-policy.
  • Метод вводит строгую стратегию клиппинга токенов с двух сторон для обеспечения стабильности оптимизации.
  • Он последовательно превосходит GRPO и его варианты на бенчмарках агентного кодирования и рассуждений, включая SWE-Bench Verified, BeyondAIME и IMOAnswerBench.
  • SAO успешно развернут в конвейере агентного RL для обучения открытой модели GLM-5.2 (750B-A40B).

Авторы демонстрируют, что однократный RL особенно эффективен в симулированных настройках онлайн-обучения, где модели должны адаптироваться к изменяющимся средам, предлагая более стабильную альтернативу существующим асинхронным системам.