SCOPE-RL은 성공 전후의 추론 경로를 최적화합니다

연구자들은 대규모 언어 모델에 대해 강화 학습 보상을 밀집시키면서 GRPO 업데이트 메커니즘을 유지하는 두 단계 프레임워크인 SCOPE-RL을 소개했습니다.

이 접근 방식은 성공 전에 하위 질문 체인에 접두사 분해 가능한 검증 가능 보상을 추가하는 적응형 스케폴딩 RL과 성공 후에 올바른 궤적을 정제하는 품질 인식 프로세스 RL을 결합합니다. DAPO-Math 및 Big-Math에서 훈련된 Qwen3-8B-Instruct에서 SCOPE-RL은 결과만 고려한 GRPO와 비교하여 평균 정확도를 최대 11.2퍼센트 포인트 향상시키고 추론 토큰을 최대 27.1% 줄였습니다.

이러한 개선은 GSPO 하에서 및 Qwen3-0.6B-Instruct에서도 유지되며, 보상 신호 밀집이 정책 업데이트 수준의 RLVR 발전과 보완적임을 나타냅니다.