Les auteurs proposent AdaPrefix-GRPO, une méthode qui ajuste dynamiquement la longueur d'un préfixe de solution correcte pendant l'entraînement Group Relative Policy Optimization (GRPO). En traitant la longueur du préfixe comme un bouton de contrôle par rétroaction, le système maintient un taux de réussite proche de 50 % pour maximiser le signal de gradient avant de retirer entièrement l'assistance.
- L'approche empêche le GRPO de stagner sur des problèmes difficiles où les avantages relatifs au groupe s'annulent en raison de zéro succès.
- Elle augmente la précision de plus de 2x pour un modèle de 0,6B et de 1,6x pour Qwen3-1.7B sur des benchmarks de mathématiques difficiles avec des FLOPs d'entraînement équivalents.
- La méthode réduit approximativement de moitié la longueur de la trace tout en ne nécessitant que des modifications de préparation des données et un masque de perte sur les jetons du préfixe.
Cette technique permet aux modèles d'apprendre plus efficacement à partir d'exemples de pointe en s'assurant que la difficulté est continuellement ajustée pour correspondre à la capacité actuelle du modèle.