DecompRL aprende generación de código modular para reducir costos de GPU en 50x

DecompRL es un algoritmo de aprendizaje por refuerzo diseñado para ayudar a los Modelos de Lenguaje Grandes a resolver problemas de codificación complejos descomponiéndolos en subfunciones más pequeñas y resolubles independientemente. Este enfoque desplaza el cuello de botella computacional de la inferencia costosa de GPU a la evaluación económica de CPU.

• El método aprende explícitamente a generar estructuras de código jerárquicas que pueden recombinarse para producir soluciones candidatas.
• La recombinación de implementaciones de módulos produce hasta $k^{n}$ candidatos, reduciendo los costos de tokens de GPU en aproximadamente 50x.
• En LiveCodeBench y CodeContests usando Qwen 2.5 7B y Code World Model 32B, DecompRL supera las líneas base estándar de RL más allá de $10^5$ tokens por problema.

Al hacer la tarea más fácil mediante la descomposición en lugar de depender del muestreo repetido, el algoritmo permite a los modelos resolver problemas que los métodos de generación estándar no pueden alcanzar.