O artigo apresenta a Single-rollout Asynchronous Optimization (SAO), um método projetado para abordar desafios de estabilidade e fora da política no aprendizado por reforço assíncrono para grandes modelos de linguagem. Ao substituir a amostragem em grupo pela amostragem de único rollout, a abordagem reduz os efeitos fora da política e melhora a generalização durante tarefas agênticas de longo prazo.

  • SAO substitui a amostragem em grupo do GRPO pela amostragem de único rollout, usando um rollout por prompt para mitigar problemas fora da política.
  • O método introduz uma estratégia estrita de clippagem de tokens em ambos os lados para garantir a estabilidade da otimização.
  • Ele supera consistentemente o GRPO e suas variantes em benchmarks de codificação e raciocínio agêntico, incluindo SWE-Bench Verified, BeyondAIME e IMOAnswerBench.
  • SAO foi implantado com sucesso no pipeline de RL agêntico para treinar o modelo aberto GLM-5.2 (750B-A40B).

Os autores demonstram que o RL de único rollout é particularmente eficaz em configurações de aprendizado online simuladas onde os modelos devem se adaptar a ambientes em evolução, oferecendo uma alternativa mais estável aos sistemas assíncronos existentes.