Sebuah studi terkontrol terhadap 18 kali berjalan pada model bahasa dan visi-bahasa skala 4B dan 8B menemukan bahwa Group Relative Policy Optimization (GRPO) tidak secara kredibel meningkatkan tingkat keberhasilan dibandingkan baseline supervised yang kuat pada tugas yang telah dikuasai. Tingkat pembelajaran moderat hingga tinggi membuat kinerja memburuk, sementara metode ini hanya membantu ketika kebijakan yang disampel sudah berhasil lebih sering daripada yang serakah.
- Tidak ada konfigurasi yang meningkatkan tingkat keberhasilan di seluruh variasi tingkat pembelajaran, bobot KL, seed, inisialisasi, dan clipping.
- Hasil nol tetap berlaku di bawah pengujian berpasangan dengan 25 seed evaluasi dan 6 seed pelatihan.
- GRPO meningkatkan keberhasilan sebesar 22 poin pada tugas di mana imbalan dapat dicapai melalui pengambilan sampel.
- Tingkat pembelajaran tengah merusak blok perhatian dan MLP, sementara tingkat tinggi menyebabkan keruntuhan tanpa pelokalan grup yang dapat dilacak.
- Pada 4B, peringkat efektif di lapisan akhir melacak kemampuan; pada 8B, kopling ini menghilang.
Kegagalan ini menunjukkan bahwa GRPO tidak efektif untuk agen yang telah menguasai tugas, karena sebagian besar membentuk ulang perilaku yang ada daripada menambahkan keterampilan baru.