IBM은 코드와 실행 트레이스를 페어링하여 AI 모델 성능을 향상시키기 위해 설계된 파이프라인 및 합성 데이터셋인 CodeAlchemy를 오픈소스로 공개했습니다. 이번 릴리스에는 15개 프로그래밍 언어에 걸쳐 거의 1조 개의 토큰이 포함되어 있으며, 이는 위키백과 크기의 최소 200배에 해당합니다.
- 이 데이터셋은 샌드박스 환경에서 생성된 실제 실행 트레이스와 페어링된 130만 개의 코드 파일을 포함하고 있습니다.
- Python, C++, Java, Rust를 포함한 15개 언어를 다루며, 규모 면에서 Nemotron과 같은 기존 데이터셋을 능가합니다.
- 연구자들은 모델의 의도 추론 및 런타임 시뮬레이션을 테스트하기 위해 DevEval과 TraceEval이라는 새로운 벤치마크를 만들었습니다.
- CodeAlchemy로 학습한 결과, DevEval에서 Granite 4.0 3B 모델의 Claude Sonnet 대비 승률이 2%에서 8%로 향상되었습니다.
합성 데이터는 정적 코드 학습의 주요 한계를 해결하고 더 작고 효율적인 모델의 성능을 향상시키기 위해 런타임 시 코드가 어떻게 동작하는지를 모델에 가르치는 것을 목표로 합니다.