L'Anchored Self-Play améliore la réparation de code en ancrant l'auto-jeu générateur-réparateur avec des données de référence

Les chercheurs proposent l'Anchored Self-Play (ASP), une méthode pour mettre à l'échelle la supervision de la réparation de code par les modèles de langage en utilisant un seul modèle entraîné par apprentissage par renforcement pour générer des bugs et les corriger. L'équipe introduit BugSourceBench, un benchmark couvrant des sources de bugs réalistes incluant du code écrit par des humains et du code généré par des LM.

• L'auto-jeu générateur-réparateur standard dérive vers des bugs difficiles mais irréalistes, améliorant les performances sur les données synthétiques tout en dégradant celles-ci sur le code rédigé par des humains.
• L'ASP ancre le processus avec un petit ensemble de référence en ajoutant une récompense de similarité d'embedding de code pour la génération et en mélangeant des bugs de référence dans l'entraînement du réparateur.
• À travers les sources de bugs, l'ASP atteint les meilleurs taux de réparation, améliorant le taux de réparation moyen par rapport à l'auto-jeu standard de +24 % relatif / +7,0 pp absolu.

Les auteurs considèrent cela comme important car il comble la limitation des données limitées de réparation de code en créant un curriculum automatique qui se généralise mieux aux bugs réalistes provenant à la fois des humains et des LM.