IBM telah membuka sumber CodeAlchemy, sebuah pipeline dan dataset sintetis yang dirancang untuk meningkatkan kinerja model AI dengan memasangkan kode bersama jejak eksekusi. Rilis ini mencakup hampir 1 triliun token di 15 bahasa pemrograman, totalnya setidaknya 200 kali ukuran Wikipedia.
- Dataset ini berisi 1,3 juta file kode yang dipasangkan dengan jejak eksekusi aktual yang dihasilkan di lingkungan sandboxed.
- Dataset ini mencakup 15 bahasa termasuk Python, C++, Java, dan Rust, melampaui dataset sebelumnya seperti Nemotron dalam skala.
- Peneliti membuat benchmark baru, DevEval dan TraceEval, untuk menguji inferensi intent model dan simulasi runtime.
- Pelatihan pada CodeAlchemy meningkatkan win rate model Granite 4.0 3B melawan Claude Sonnet dari 2% menjadi 8% pada DevEval.
Data sintetis ini bertujuan mengajarkan model bagaimana kode berperilaku saat runtime, mengatasi keterbatasan utama pelatihan kode statis dan memungkinkan kinerja yang lebih baik untuk model yang lebih kecil dan efisien.