IBM ha abierto el código fuente de CodeAlchemy, una canalización y un conjunto de datos sintéticos diseñados para mejorar el rendimiento de los modelos de IA al emparejar código con trazas de ejecución. El lanzamiento incluye casi 1 billón de tokens en 15 lenguajes de programación, sumando al menos 200 veces el tamaño de Wikipedia.
- El conjunto de datos contiene 1,3 millones de archivos de código emparejados con trazas de ejecución reales generadas en entornos aislados.
- Cubre 15 lenguajes incluyendo Python, C++, Java y Rust, superando a conjuntos de datos anteriores como Nemotron en escala.
- Los investigadores crearon nuevos benchmarks, DevEval y TraceEval, para probar la inferencia de intenciones del modelo y la simulación en tiempo de ejecución.
- El entrenamiento con CodeAlchemy mejoró la tasa de victoria del modelo Granite 4.0 3B contra Claude Sonnet del 2% al 8% en DevEval.
Los datos sintéticos tienen como objetivo enseñar a los modelos cómo se comporta el código en tiempo de ejecución, abordando una limitación clave del entrenamiento con código estático y permitiendo un mejor rendimiento para modelos más pequeños y eficientes.