El artículo presenta Single-rollout Asynchronous Optimization (SAO), un método diseñado para abordar los desafíos de estabilidad y fuera de política en el aprendizaje por refuerzo asíncrono para grandes modelos de lenguaje. Al reemplazar el muestreo grupal con muestreo de un solo rollout, el enfoque reduce los efectos fuera de política y mejora la generalización durante las tareas agénticas de largo plazo.

  • SAO reemplaza el muestreo grupal de GRPO por muestreo de un solo rollout, utilizando un rollout por prompt para mitigar los problemas fuera de política.
  • El método introduce una estricta estrategia de recorte a nivel de token en ambos lados para garantizar la estabilidad de la optimización.
  • Supera consistentemente a GRPO y sus variantes en benchmarks de codificación y razonamiento agéntico, incluyendo SWE-Bench Verified, BeyondAIME e IMOAnswerBench.
  • SAO se ha implementado con éxito en la tubería de RL agéntico para entrenar el modelo abierto GLM-5.2 (750B-A40B).

Los autores demuestran que el RL de un solo rollout es particularmente efectivo en entornos de aprendizaje en línea simulados donde los modelos deben adaptarse a entornos en evolución, ofreciendo una alternativa más estable a los sistemas asíncronos existentes.