IBM a open-sourcé CodeAlchemy, un pipeline et un jeu de données synthétiques conçus pour améliorer les performances des modèles d'IA en associant le code à des traces d'exécution. La publication comprend près de 1 trillion de tokens sur 15 langages de programmation, totalisant au moins 200 fois la taille de Wikipédia.
- Le jeu de données contient 1,3 million de fichiers de code associés à des traces d'exécution réelles générées dans des environnements sandboxés.
- Il couvre 15 langages dont Python, C++, Java et Rust, dépassant les jeux de données précédents comme Nemotron en échelle.
- Les chercheurs ont créé de nouveaux benchmarks, DevEval et TraceEval, pour tester l'inférence d'intention des modèles et la simulation d'exécution.
- L'entraînement sur CodeAlchemy a amélioré le taux de victoire du modèle Granite 4.0 3B contre Claude Sonnet de 2 % à 8 % sur DevEval.
Les données synthétiques visent à enseigner aux modèles comment le code se comporte au moment de l'exécution, comblant ainsi une limitation clé de l'entraînement sur du code statique et permettant de meilleures performances pour des modèles plus petits et plus efficaces.