IBM открыла исходные коды CodeAlchemy, конвейера и синтетического набора данных, предназначенных для улучшения производительности ИИ-моделей за счёт сопоставления кода с трассами выполнения. В релиз включено почти 1 триллион токенов по 15 языкам программирования, что как минимум в 200 раз превышает объём Wikipedia.
- Набор данных содержит 1,3 миллиона файлов кода, связанных с реальными трассами выполнения, сгенерированными в изолированных средах.
- Он охватывает 15 языков, включая Python, C++, Java и Rust, превосходя по масштабу предыдущие наборы данных, такие как Nemotron.
- Исследователи создали новые бенчмарки DevEval и TraceEval для проверки способности моделей к выводу намерений и симуляции во время выполнения.
- Обучение на CodeAlchemy повысило долю побед модели Granite 4.0 3B против Claude Sonnet с 2% до 8% на DevEval.
Синтетические данные призваны научить модели тому, как ведёт себя код во время выполнения, устраняя ключевое ограничение статического обучения коду и обеспечивая лучшую производительность для более компактных и эффективных моделей.