Une étude contrôlée sur 18 exécutions de modèles de langage et de vision-langage à l'échelle de 4B et 8B révèle que Group Relative Policy Optimization (GRPO) n'améliore pas de manière crédible les taux de réussite par rapport à une base de référence supervisée forte sur des tâches maîtrisées. Des taux d'apprentissage modérés à élevés dégradent les performances, tandis que la méthode ne profite qu'à un échantillonnage de politique qui réussit déjà plus souvent que l'approche gloutonne.
- Aucune configuration n'a amélioré les taux de réussite à travers les variations de taux d'apprentissage, poids KL, graine, initialisation et clipping.
- Le résultat nul tient sous test apparié avec 25 graines d'évaluation et 6 graines d'entraînement.
- GRPO augmente la réussite de 22 points sur les tâches où la récompense est atteignable par échantillonnage.
- Les taux d'apprentissage moyens dégradent les blocs d'attention et MLP, tandis que les taux élevés provoquent un effondrement sans localisation de groupe traçable.
- À 4B, le rang effectif dans les couches tardives suit la capacité ; à 8B, ce couplage disparaît.
L'échec indique que GRPO est inefficace pour les agents qui ont déjà maîtrisé la tâche, car il reforme principalement le comportement existant plutôt que d'ajouter une nouvelle compétence.