Para peneliti mengusulkan Anchored Self-Play (ASP), sebuah metode untuk menskalakan pengawasan untuk perbaikan kode model bahasa dengan menggunakan satu model yang dilatih melalui pembelajaran penguatan untuk menghasilkan bug dan memperbaikinya. Tim ini memperkenalkan BugSourceBench, sebuah benchmark yang mencakup sumber bug realistis termasuk kode yang ditulis manusia dan kode yang dihasilkan LM.
- Permainan diri generator-pemperbaiki standar menyimpang menuju bug yang sulit tetapi tidak realistis, meningkatkan kinerja pada data sintetis sambil menurunkan kinerja pada kode buatan manusia.
- ASP mengikat proses ini dengan set referensi kecil dengan menambahkan reward kesamaan embedding kode untuk generasi dan mencampurkan bug referensi ke dalam pelatihan pemperbaiki.
- Di seluruh sumber bug, ASP mencapai tingkat perbaikan terbaik, meningkatkan tingkat perbaikan rata-rata dibandingkan permainan diri standar sebesar +24% relatif / +7.0 pp absolut.
Para penulis menganggap ini penting karena hal ini mengatasi keterbatasan data perbaikan kode yang terbatas dengan membuat kurikulum otomatis yang lebih umum untuk bug realistis dari manusia dan LM.