AdaPrefix-GRPO résout le problème de l'atténuation des gradients dans l'Optimisation Relative de Politique par Groupe (GRPO) en ajustant dynamiquement la longueur des préfixes de solution correcte ajoutés aux problèmes d'entraînement. En maintenant un taux de réussite proche de 50 %, cette méthode garantit que le signal du gradient reste fort, retirant finalement son assistance pour que le modèle déployé résolve les problèmes sans aide.
- Sur des tâches mathématiques difficiles avec des FLOPs d'entraînement équivalents, AdaPrefix-GRPO plus que double la précision du GRPO pour un modèle de 0,6 milliard de paramètres (gain de 2,1x).
- Il obtient une amélioration de 1,6x sur Qwen3-1.7B et une amélioration de 1,7x sur les benchmarks AIME.
- L'approche réduit approximativement de moitié la longueur du traçage tout en ne mettant en œuvre que des modifications de préparation des données et un masque de perte sur les jetons de préfixe.
La méthode est particulièrement efficace pour les modèles plus petits, offrant des gains de précision significatifs sans nécessiter de modifications au formateur sous-jacent.