وجدت دراسة خاضعة للرقابة على 18 تشغيلًا لنماذج اللغة ودمج الرؤية واللغة بحجمي 4B و8B أن Group Relative Policy Optimization (GRPO) لا يحسن معدلات النجاح بشكل موثوق مقارنة بخط أساس إشرافي قوي في المهام المتقنة. تؤدي معدلات التعلم من المعتادة إلى العالية إلى تدهور الأداء، بينما تفيد الطريقة فقط عندما تكون السياسة المُعيّنة ناجحة أكثر من السياسة الجشعة.
- لم تحسّن أي تكوين معدلات النجاح عبر اختلافات معدل التعلم، وزن KL، البذرة، التهيئة، والقص.
- يظل النتيجة الصفرية سارية تحت الاختبار المزدوج مع 25 بذرة تقييم و6 بذرات تدريب.
- يزيد GRPO من النجاح بمقدار 22 نقطة في المهام التي يمكن الوصول إلى المكافأة فيها عبر المعاينة.
- تؤدي معدلات التعلم المتوسطة إلى تدهير كتل الانتباه وMLP، بينما تسبب المعدلات العالية انهيارًا دون تحديد مجموعة قابل للتتبع.
- عند 4B، يتتبع الرتبة الفعالة في الطبقات المتأخرة القدرة؛ عند 8B، يختفي هذا الاقتران.
يشير الفشل إلى أن GRPO غير فعال للوكلاء الذين أتقنوا المهمة بالفعل، لأنه يعيد تشكيل السلوك الحالي بشكل أساسي بدلاً من إضافة مهارة جديدة.