AdaPrefix-GRPO menyesuaikan prefix jejak untuk menggandakan akurasi GRPO pada matematika sulit

AdaPrefix-GRPO mengatasi masalah gradien yang hilang dalam Optimisasi Kebijakan Relatif Grup (GRPO) dengan secara dinamis menyesuaikan panjang prefix solusi benar yang ditambahkan ke masalah pelatihan. Dengan mempertahankan tingkat keberhasilan mendekati 50%, metode ini memastikan sinyal gradien tetap kuat, dan akhirnya menarik bantuan agar model yang diimplementasikan dapat menyelesaikan masalah tanpa bantuan.

• Pada tugas matematika sulit dengan FLOPs pelatihan yang setara, AdaPrefix-GRPO menggandakan akurasi GRPO untuk model 0.6B (peningkatan 2.1x).
• Mencapai peningkatan 1.6x pada Qwen3-1.7B dan peningkatan 1.7x pada benchmark AIME.
• Pendekatan ini kira-kira mengurangi panjang jejak menjadi setengah sambil hanya menerapkan perubahan persiapan data dan masker kerugian pada token prefix.

Metode ini sangat efektif untuk model yang lebih kecil, memberikan peningkatan akurasi yang signifikan tanpa memerlukan modifikasi pada trainer dasar.