研究者らは、大規模言語モデルに対する強化学習の報酬を密にしながらGRPO更新メカニズムを保持する二段階フレームワークであるSCOPE-RLを紹介している。

このアプローチは、成功前に部分質問チェーンに接頭辞分解可能な検証可能報酬を追加する適応的スケフォールディングRLと、成功後に正しい軌道を洗練させる品質 aware プロセスRLを組み合わせている。DAPO-MathおよびBig-MathでトレーニングされたQwen3-8B-Instructにおいて、SCOPE-RLは結果のみを対象としたGRPOと比較して平均精度を最大11.2パーセントポイント向上させ、推論トークンを最大27.1%削減した。

これらの改善はGSPO下およびQwen3-0.6B-Instructでも維持されており、報酬信号の密化がポリシー更新レベルのRLVRの進歩と補完的であることを示している。