DecompRL est un algorithme d'apprentissage par renforcement conçu pour aider les grands modèles de langage à résoudre des problèmes de codage complexes en les décomposant en sous-fonctions plus petites et résolubles indépendamment. Cette approche déplace le goulot d'étranglement computationnel de l'inférence GPU coûteuse vers l'évaluation CPU bon marché.
- La méthode apprend explicitement à générer des structures de code hiérarchiques qui peuvent être recombinées pour produire des solutions candidates.
- La recombinaison des implémentations de modules produit jusqu'à $k^{n}$ candidats, réduisant les coûts en tokens GPU d'environ 50x.
- Sur LiveCodeBench et CodeContests avec Qwen 2.5 7B et Code World Model 32B, DecompRL surpasse les bases RL standard au-delà de 10^5 tokens par problème.
En rendant la tâche plus facile grâce à la décomposition plutôt qu'en s'appuyant sur un échantillonnage répété, l'algorithme permet aux modèles de résoudre des problèmes que les méthodes de génération standard ne peuvent pas atteindre.