SCOPE-RL otimiza caminhos de raciocínio antes e depois do sucesso

Pesquisadores introduzem o SCOPE-RL, um framework de duas etapas que densifica as recompensas do aprendizado por reforço para grandes modelos de linguagem enquanto retém o mecanismo de atualização GRPO.

A abordagem combina RL com andaime adaptativo (Adaptive Scaffolded RL), que adiciona recompensas verificáveis decompostas por prefixo em cadeias de subperguntas antes do sucesso, com RL de processo consciente da qualidade (Quality-Aware Process RL) para refinar trajetórias corretas após o sucesso. No Qwen3-8B-Instruct treinado no DAPO-Math e Big-Math, o SCOPE-RL melhora a precisão média em até 11,2 pontos percentuais e reduz os tokens de raciocínio em até 27,1% em comparação com o GRPO baseado apenas no resultado.

Esses ganhos se mantêm sob GSPO e no Qwen3-0.6B-Instruct, indicando que a densificação do sinal de recompensa é complementar aos avanços do RLVR no nível de atualização da política.