연구자들은 강화 학습을 통해 훈련된 단일 모델을 사용하여 버그를 생성하고 수정함으로써 언어 모델 코드 수리에 대한 감독의 확장성을 높이는 방법인 Anchored Self-Play (ASP)를 제안했습니다. 팀은 인간이 작성한 코드와 LM 생성 코드를 포함한 현실적인 버그 소스를 아우르는 벤치마크인 BugSourceBench를 소개했습니다.

  • 표준 생성기-수정기 자기대전은 어렵지만 비현실적인 버그로 치우쳐, 합성 데이터에서는 성능을 향상시키지만 인간이 작성한 데이터에서는 성능이 저하됩니다.
  • ASP는 생성에 대한 코드 임베딩 유사도 보상을 추가하고 수정기 훈련에 참조 버그를 혼합하여 작은 참조 세트로 프로세스를 고정합니다.
  • 모든 버그 소스에서 ASP는 최고의 수리율을 달성했으며, 표준 자기대전 대비 평균 수리율이 상대적 +24%, 절대적 +7.0 pp 향상되었습니다.

저자들은 이것이 인간과 LM 모두로부터의 현실적인 버그에 더 잘 일반화되는 자동 커리큘럼을 생성함으로써 제한된 코드 수리 데이터라는 한계를 해결하기 때문에 중요하다고 간주합니다.