研究者らは、強化学習によって訓練された単一モデルを用いてバグを生成し修正することで、言語モデルのコード修復における教師付けのスケーリングを実現する手法であるAnchored Self-Play (ASP)を提案した。チームは、人間の書いたコードやLM生成のコードなど、現実的なバグのソースを含むベンチマークであるBugSourceBenchを導入した。

  • 標準的な生成器・修正器の自己対戦は、困難だが非現実的なバグへとドリフトし、合成データ上でのパフォーマンスを向上させる一方で、人間が作成したデータ上では低下する。
  • ASPは、生成に対するコード埋め込み類似度報酬を追加し、修正器の訓練に参照バグを混合することで、小さな参照セットを用いてプロセスを固定する。
  • 全てのバグソースにおいて、ASPは最高の修復率を達成し、標準的な自己対戦と比較して平均修復率が相対的に+24%、絶対的に+7.0 pp向上した。

著者らは、これは人間とLMの両方からの現実的なバグに対してより一般化しやすい自動カリキュラムを作成することで、限られたコード修復データという制限に対処するため重要だと考えている。