IBMは、コードと実行トレースをペアリングすることでAIモデルのパフォーマンスを向上させるパイプラインおよび合成データセットであるCodeAlchemyをオープンソース化した。今回のリリースでは、15のプログラミング言語にわたる約1兆トークンが含まれており、その規模はWikipediaの少なくとも200倍に相当する。

  • データセットには、サンドボックス環境で生成された実際の実行トレースとペアになった130万個のコードファイルが含まれている。
  • Python、C++、Java、Rustなど15の言語をカバーしており、規模においてNemotronなどの既存データセットを上回る。
  • 研究者は、モデルの意図推論およびランタイムシミュレーションをテストするために、DevEvalとTraceEvalという新しいベンチマークを作成した。
  • CodeAlchemyでのトレーニングにより、DevEvalにおけるGranite 4.0 3BモデルのClaude Sonnetに対する勝利率は2%から8%に向上した。

合成データは、コードがランタイムでどのように振る舞うかをモデルに教えることを目的としており、静的なコードトレーニングの主要な制限に対処し、より小さく効率的なモデルの性能向上を可能にする。