IBM ने CodeAlchemy को ओपन-सोर्स किया, जो एक पाइपलाइन और संश्लेषित डेटासेट है जिसे कोड को एक्जीक्यूशन ट्रेस के साथ जोड़कर AI मॉडल की प्रदर्शन क्षमता को बेहतर बनाने के लिए डिज़ाइन किया गया है। इस रिलीज में 15 प्रोग्रामिंग भाषाओं में लगभग 1 ट्रिलियन टोकन शामिल हैं, जो कुल मिलाकर विकिपीडिया के आकार से कम से कम 200 गुना अधिक है।
- डेटासेट में सैंडबॉक्स्ड वातावरण में उत्पन्न वास्तविक एक्जीक्यूशन ट्रेस के साथ जोड़े गए 1.3 मिलियन कोड फ़ाइलें शामिल हैं।
- इसमें Python, C++, Java और Rust सहित 15 भाषाओं का कवरेज है, जिसका पैमाना Nemotron जैसे पिछले डेटासेट से आगे निकल गया है।
- शोधकर्ताओं ने मॉडल के इरादे की निष्कर्षण और रनटाइम सिमुलेशन को परखने के लिए DevEval और TraceEval नामक नए बेंचमार्क तैयार किए।
- CodeAlchemy पर प्रशिक्षण से DevEval पर Claude Sonnet के खिलाफ Granite 4.0 3B मॉडल की जीत की दर 2% से बढ़कर 8% हो गई।
संश्लेषित डेटा का उद्देश्य मॉडलों को यह सिखाना है कि रनटाइम पर कोड कैसे व्यवहार करता है, जो स्थिर कोड प्रशिक्षण की एक प्रमुख सीमा को दूर करता है और छोटे, अधिक कुशल मॉडलों के लिए बेहतर प्रदर्शन सक्षम बनाता है।