SCOPE-RL mengoptimalkan jalur penalaran sebelum dan setelah sukses

Peneliti memperkenalkan SCOPE-RL, sebuah kerangka kerja dua tahap yang memadatkan reward pembelajaran penguatan untuk model bahasa besar sambil mempertahankan mekanisme pembaruan GRPO.

Pendekatan ini menggabungkan Adaptive Scaffolded RL, yang menambahkan reward yang dapat diverifikasi terurai awalan pada rantai sub-pertanyaan sebelum sukses, dengan Quality-Aware Process RL untuk menyempurnakan lintasan yang benar setelah sukses. Pada Qwen3-8B-Instruct yang dilatih pada DAPO-Math dan Big-Math, SCOPE-RL meningkatkan akurasi rata-rata hingga 11,2 poin persentase dan mengurangi token penalaran hingga 27,1% dibandingkan dengan GRPO berbasis hasil saja.

Peningkatan ini berlaku di bawah GSPO dan pada Qwen3-0.6B-Instruct, menunjukkan bahwa densifikasi sinyal reward bersifat komplementer terhadap kemajuan RLVR tingkat pembaruan kebijakan.