SCOPE-RL оптимизирует пути рассуждения до и после успеха

Исследователи представляют SCOPE-RL, двухэтапную архитектуру, которая уплотняет награды обучения с подкреплением для больших языковых моделей, сохраняя механизм обновления GRPO.

Подход сочетает адаптивное структурированное обучение с подкреплением (Adaptive Scaffolded RL), которое добавляет проверяемые награды на основе префиксов в цепочках подзадач до достижения успеха, и процессуальное обучение с подкреплением, учитывающее качество (Quality-Aware Process RL), для уточнения правильных траекторий после успеха. На модели Qwen3-8B-Instruct, обученной на DAPO-Math и Big-Math, SCOPE-RL улучшает среднюю точность до 11,2 процентных пункта и снижает количество токенов рассуждения до 27,1% по сравнению с GRPO, учитывающим только результат.

Эти улучшения сохраняются при использовании GSPO и на модели Qwen3-0.6B-Instruct, что указывает на то, что уплотнение сигнала награды дополняет достижения RLVR на уровне обновления политики.