Pesquisadores propõem o Anchored Self-Play (ASP), um método para escalar a supervisão para o reparo de código de modelos de linguagem usando um único modelo treinado por aprendizado por reforço para gerar bugs e corrigi-los. A equipe apresenta o BugSourceBench, um benchmark que abrange fontes de bugs realistas incluindo código escrito por humanos e código gerado por modelos de linguagem.

  • O autojogo padrão gerador-reparador deriva em direção a bugs difíceis mas irreais, melhorando o desempenho em dados sintéticos enquanto degrada nos criados por humanos.
  • O ASP ancora o processo com um pequeno conjunto de referência adicionando uma recompensa de similaridade de incorporação de código para geração e misturando bugs de referência no treinamento do reparador.
  • Em todas as fontes de bugs, o ASP alcança as melhores taxas de correção, melhorando a taxa média de correção sobre o autojogo padrão em +24% relativo / +7.0 pp absoluto.

Os autores consideram isso importante porque aborda a limitação de dados limitados de reparo de código criando um currículo automático que generaliza melhor para bugs realistas tanto de humanos quanto de modelos de linguagem.