Исследователи предлагают Anchored Self-Play (ASP), метод масштабирования надзора для исправления кода языковыми моделями с использованием одной модели, обученной методом обучения с подкреплением, для генерации ошибок и их исправления. Команда представляет BugSourceBench, бенчмарк, охватывающий реалистичные источники ошибок, включая код, написанный человеком, и код, сгенерированный языковыми моделями.

  • Стандартная самозагрузка генератора-исправителя смещается в сторону сложных, но нереалистичных ошибок, улучшая производительность на синтетических данных, но ухудшая её на данных, созданных людьми.
  • ASP привязывает процесс с помощью небольшого эталонного набора, добавляя награду за сходство код-эмбеддингов для генерации и смешивая эталонные ошибки в обучение исправителя.
  • По всем источникам ошибок ASP достигает лучших показателей исправления, улучшая среднюю долю исправленных ошибок по сравнению со стандартной самозагрузкой на +24% относительно / +7.0 pp абсолютно.

Авторы считают это важным, поскольку метод решает ограничение ограниченных данных для исправления кода, создавая автоматическую учебную программу, которая лучше обобщается на реалистичные ошибки как от людей, так и от языковых моделей.