शोधकर्ताओं ने Anchored Self-Play (ASP) का प्रस्ताव रखा है, जो एक विधि है भाषा मॉडल कोड मरम्मत के लिए पर्यवेक्षण को स्केल करने के लिए पुनर्बल सीखने के माध्यम से प्रशिक्षित एकल मॉडल का उपयोग करके बग्स उत्पन्न करने और उन्हें ठीक करने के लिए। टीम ने BugSourceBench पेश किया है, एक बेंचमार्क जो मानव-लेखित कोड और LM-जनरेटेड कोड सहित यथार्थवादी बग स्रोतों को कवर करता है।
- मानक जनरेटर-फिक्सर सेल्फ-प्ले कठिन लेकिन अयथार्थवादी बग्स की ओर विचलित होता है, संश्लेषित डेटा पर प्रदर्शन में सुधार करता है जबकि मानव-लेखित डेटा पर खराब करता है।
- ASP जनरेशन के लिए कोड-एम्बेडिंग समानता पुरस्कार जोड़कर और फिक्सर प्रशिक्षण में संदर्भ बग्स मिलाकर एक छोटे संदर्भ सेट के साथ प्रक्रिया को एंकर करता है।
- सभी बग स्रोतों पर, ASP सर्वोत्तम ठीक करने की दरें प्राप्त करता है, मानक सेल्फ-प्ले की तुलना में औसत ठीक करने की दर में +24% सापेक्ष / +7.0 pp निरपेक्ष सुधार करता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह मानव और LM दोनों से यथार्थवादी बग्स के लिए बेहतर सामान्यीकरण करने वाला स्वचालित पाठ्यक्रम बनाकर कोड मरम्मत डेटा की सीमितता की समस्या का समाधान करता है।