DecompRL aprende geração de código modular para cortar custos de GPU em 50x

DecompRL é um algoritmo de aprendizado por reforço projetado para ajudar Grandes Modelos de Linguagem a resolver problemas complexos de codificação decompondo-os em subfunções menores e solucionáveis independentemente. Esta abordagem desloca o gargalo computacional da inferência cara de GPU para a avaliação barata de CPU.

• O método aprende explicitamente a gerar estruturas de código hierárquicas que podem ser recombinadas para produzir soluções candidatas.
• A recombinação de implementações de módulos produz até $k^{n}$ candidatos, reduzindo os custos de tokens de GPU em aproximadamente 50x.
• No LiveCodeBench e CodeContests usando Qwen 2.5 7B e Code World Model 32B, o DecompRL supera as linhas de base padrão de RL além de $10^5$ tokens por problema.

Ao tornar a tarefa mais fácil por meio da decomposição, em vez de depender de amostragem repetida, o algoritmo permite que os modelos resolvam problemas que os métodos de geração padrão não conseguem alcançar.