SCOPE-RL optimiza las rutas de razonamiento antes y después del éxito

Los investigadores presentan SCOPE-RL, un marco de dos etapas que densifica las recompensas del aprendizaje por refuerzo para modelos de lenguaje grandes mientras retiene el mecanismo de actualización GRPO.

El enfoque combina RL con andamiaje adaptativo (Adaptive Scaffolded RL), que añade recompensas verificables descompuestas por prefijo en cadenas de subpreguntas antes del éxito, con RL de proceso consciente de la calidad (Quality-Aware Process RL) para refinar trayectorias correctas después del éxito. En Qwen3-8B-Instruct entrenado en DAPO-Math y Big-Math, SCOPE-RL mejora la precisión promedio hasta 11,2 puntos porcentuales y reduce los tokens de razonamiento hasta un 27,1% en comparación con GRPO solo basado en resultados.

Estas ganancias se mantienen bajo GSPO y en Qwen3-0.6B-Instruct, lo que indica que la densificación de la señal de recompensa es complementaria a los avances de RLVR a nivel de actualización de política.