SCOPE-RL optimise les chemins de raisonnement avant et après le succès

Les chercheurs présentent SCOPE-RL, un cadre en deux étapes qui densifie les récompenses d'apprentissage par renforcement pour les grands modèles de langage tout en conservant le mécanisme de mise à jour GRPO.

L'approche combine l'RL échafaudé adaptatif, qui ajoute des récompenses vérifiables décomposées par préfixe sur les chaînes de sous-questions avant le succès, avec l'RL de processus sensible à la qualité pour affiner les trajectoires correctes après le succès. Sur Qwen3-8B-Instruct entraîné sur DAPO-Math et Big-Math, SCOPE-RL améliore la précision moyenne jusqu'à 11,2 points de pourcentage et réduit les tokens de raisonnement jusqu'à 27,1 % par rapport au GRPO basé uniquement sur le résultat.

Ces gains se maintiennent sous GSPO et sur Qwen3-0.6B-Instruct, indiquant que la densification du signal de récompense est complémentaire aux avancées RLVR au niveau de la mise à jour de la politique.