SAO, 안정적인 에이전트 RL 학습을 위한 단일 롤아웃 비동기 최적화 도입

본 논문은 대규모 언어 모델의 비동기 강화학습에서 안정성과 오프-폴리시 문제를 해결하기 위해 설계된 Single-rollout Asynchronous Optimization (SAO) 방법을 제시합니다. 그룹별 샘플링을 단일 롤아웃 샘플링으로 대체함으로써, 이 접근 방식은 오프-폴리시 효과를 줄이고 장기 에이전트 작업 동안 일반화 성능을 향상시킵니다.

• SAO는 GRPO의 그룹별 샘플링을 단일 롤아웃 샘플링으로 대체하여, 프롬프트당 하나의 롤아웃을 사용하여 오프-폴리시 문제를 완화합니다.
• 이 방법은 최적화 안정성을 보장하기 위해 엄격한 양측 토큰 레벨 클리핑 전략을 도입합니다.
• SWE-Bench Verified, BeyondAIME, IMOAnswerBench를 포함한 에이전트 코딩 및 추론 벤치마크에서 GRPO 및 그 변형 버전을 일관되게 능가합니다.
• SAO는 오픈 GLM-5.2 모델(750B-A40B) 학습을 위한 에이전트 RL 파이프라인에 성공적으로 배포되었습니다.

저자들은 단일 롤아웃 RL이 모델이 진화하는 환경에 적응해야 하는 시뮬레이션된 온라인 학습 설정에서 특히 효과적이며, 기존 비동기 시스템보다 더 안정적인 대안을 제공함을 보여줍니다.