A IBM lançou o CodeAlchemy, um pipeline e um conjunto de dados sintéticos projetados para melhorar o desempenho de modelos de IA ao associar código a rastros de execução. O lançamento inclui quase 1 trilhão de tokens em 15 linguagens de programação, totalizando pelo menos 200 vezes o tamanho da Wikipedia.
- O conjunto de dados contém 1,3 milhão de arquivos de código pareados com rastros de execução reais gerados em ambientes isolados.
- Abrange 15 linguagens, incluindo Python, C++, Java e Rust, superando conjuntos de dados anteriores como Nemotron em escala.
- Os pesquisadores criaram novos benchmarks, DevEval e TraceEval, para testar a inferência de intenção do modelo e a simulação em tempo de execução.
- O treinamento no CodeAlchemy melhorou a taxa de vitória do modelo Granite 4.0 3B contra o Claude Sonnet de 2% para 8% no DevEval.
Os dados sintéticos visam ensinar aos modelos como o código se comporta em tempo de execução, abordando uma limitação chave do treinamento com código estático e permitindo melhor desempenho para modelos menores e mais eficientes.