Los investigadores proponen Anchored Self-Play (ASP), un método para escalar la supervisión para la reparación de código de modelos de lenguaje utilizando un único modelo entrenado mediante aprendizaje por refuerzo para generar errores y repararlos. El equipo presenta BugSourceBench, una prueba que abarca fuentes de errores realistas que incluyen código escrito por humanos y código generado por modelos de lenguaje.

  • El autojuego generador-reparador estándar se desvía hacia errores difíciles pero poco realistas, mejorando el rendimiento en datos sintéticos mientras degrada en los creados por humanos.
  • ASP ancla el proceso con un pequeño conjunto de referencia añadiendo una recompensa de similitud de incrustaciones de código para la generación y mezclando errores de referencia en el entrenamiento del reparador.
  • En todas las fuentes de errores, ASP logra las mejores tasas de reparación, mejorando la tasa media de reparación sobre el autojuego estándar en un +24% relativo / +7.0 pp absoluto.

Los autores consideran esto importante porque aborda la limitación de los datos limitados de reparación de código creando un currículo automático que se generaliza mejor a errores realistas tanto de humanos como de modelos de lenguaje.