Une étude examine le problème de décision à budget fixe concernant l'allocation des ressources de post-entraînement par apprentissage par renforcement (RL), en particulier pour déterminer s'il faut privilégier des politiques plus grandes, un entraînement prolongé, une recherche de rollouts accrue ou un feedback de récompense plus fort.
- Les auteurs introduisent un cadre de comptabilisation des FLOPs pour le post-entraînement GRPO qui décompose le calcul en rollouts/recherche, mise à jour de la politique/apprentissage et évaluation du modèle de récompense.
- L'analyse des politiques Qwen2.5 adaptées par LoRA révèle des frontières d'allocation conditionnelles où la stratégie optimale dépend de la taille du modèle, du budget et des systèmes de récompense.
- Les politiques plus grandes consomment plus de calcul par token, ce qui se traduit par moins de mises à jour ou de rollouts sous un budget total identique par rapport aux modèles plus petits.
- L'architecture du système de récompense impacte significativement la comptabilisation ; les récompenses basées sur des règles dépensent la majeure partie du calcul non mis à jour dans les rollouts, tandis que le feedback de style PRM alloue un budget visible à l'inférence.
- L'article propose RACE comme protocole pilote de grille diagnostique pour identifier les régimes d'allocation avant des exécutions de validation coûteuses.
Les auteurs soutiennent que les articles sur le post-entraînement RL devraient rapporter le total des FLOPs ainsi que la division spécifique du calcul entre la taille du modèle, la recherche, l'apprentissage et le feedback.