DecompRLは、大規模言語モデルが複雑なコーディング問題をより小さな独立して解決可能なサブ関数に分解することで解決できるよう支援するために設計された強化学習アルゴリズムです。このアプローチは、高価なGPU推論から安価なCPU評価へと計算のボトルネックをシフトさせます。

  • この手法は、候補解を生成するために再結合できる階層的なコード構造を明示的に学習します。
  • モジュールの実装を再結合することで最大 $k^{n}$ 個の候補が得られ、GPUトークンコストを約50倍削減します。
  • Qwen 2.5 7BおよびCode World Model 32Bを使用したLiveCodeBenchとCodeContestsにおいて、DecompRLは問題あたり10^5トークンを超えて標準的なRLベースラインを上回ります。

分解によってタスクを容易にし、反復サンプリングに依存するのではなく、このアルゴリズムによりモデルは標準的な生成手法では到達できない問題を解決できるようになります。