AdaPrefix-GRPO mengadaptasi prefix referensi untuk menggandakan akurasi GRPO pada matematika sulit

Para penulis mengusulkan AdaPrefix-GRPO, sebuah metode yang secara dinamis menyesuaikan panjang prefix solusi yang benar selama pelatihan Group Relative Policy Optimization (GRPO). Dengan memperlakukan panjang prefix sebagai tombol kontrol umpan balik, sistem mempertahankan tingkat keberhasilan mendekati 50% untuk memaksimalkan sinyal gradien sebelum sepenuhnya menarik bantuan.

• Pendekatan ini mencegah GRPO macet pada masalah sulit di mana keuntungan relatif grup lenyap karena nol keberhasilan.
• Ini meningkatkan akurasi lebih dari 2x untuk model 0.6B dan 1.6x untuk Qwen3-1.7B pada benchmark matematika sulit dengan FLOP pelatihan yang setara.
• Metode ini kira-kira menggandakan panjang jejak sambil hanya memerlukan perubahan persiapan data dan masker kerugian pada token prefix.

Teknik ini memungkinkan model belajar dari contoh terdepan lebih efektif dengan memastikan kesulitan terus disesuaikan untuk mencocokkan kemampuan saat ini model.