IBM已开源CodeAlchemy，这是一个旨在通过将代码与执行轨迹配对来提升AI模型性能的管道和合成数据集。此次发布的数据集涵盖近1万亿个token，涉及15种编程语言，总量至少是维基百科的200倍。
- 该数据集包含130万个代码文件，每个文件都配有在沙盒环境中生成的实际执行轨迹。
- 它涵盖了包括Python、C++、Java和Rust在内的15种语言，在规模上超越了Nemotron等先前数据集。
- 研究人员创建了新的基准测试DevEval和TraceEval，用于测试模型的意图推理和运行时模拟能力。
- 在CodeAlchemy上进行训练使Granite 4.0 3B模型在DevEval上对抗Claude Sonnet的胜率从2%提升至8%。
合成数据的目的是教会模型代码在运行时的行为方式，解决静态代码训练的一个关键局限性，并使更小、更高效的模型能够获得更好的性能。