DecompRL 是一种强化学习算法，旨在通过将复杂的编码问题分解为更小、可独立解决的子函数，帮助大型语言模型解决这些难题。这种方法将计算瓶颈从昂贵的 GPU 推理转移到廉价的 CPU 评估。

  • 该方法显式地学习生成可以重新组合以产生候选解的分层代码结构。
  • 重组模块的实现可产生多达 $k^{n}$ 个候选解，将 GPU token 成本降低约 50 倍。
  • 在 LiveCodeBench 和 CodeContests 上使用 Qwen 2.5 7B 和 Code World Model 32B，DecompRL 在每个问题超过 $10^5$ 个 token 的情况下优于标准的 RL 基线。

通过分解使任务变得更简单，而不是依赖重复采样，该算法使模型能够解决标准生成方法无法解决的问题。