NVIDIA ने एक अनुमतिपूर्ण ओपन लाइसेंस के तहत Nemotron-4 340B मॉडल परिवार जारी किया, जिसमें Base, Instruct, और Reward वेरिएंट शामिल हैं। इन मॉडलों को FP8 प्रिसिजन में 8 GPUs वाले एकल DGX H100 पर फिट होने के लिए डिज़ाइन किया गया है और इन्हें 9 ट्रिलियन टोकन पर प्रशिक्षित किया गया है।
- Nemotron-4-340B-Instruct निर्देश अनुसरण और चैट क्षमताओं में तुलनीय निर्देश मॉडलों को पार कर जाता है।
- Nemotron-4-340B-Reward RewardBench पर शीर्ष सटीकता प्राप्त करता है, GPT-4o-0513 और Gemini 1.5 Pro-0514 जैसे स्वामित्व वाले मॉडलों को पछाड़ता है।
- मॉडल संरेखण के लिए उपयोग किए गए डेटा में से 98% से अधिक सिंथेटिक रूप से उत्पन्न किया गया था।
- NVIDIA सिंथेटिक डेटा जनरेशन पाइपलाइन को ओपन-सोर्स कर रहा है, जिसमें प्रॉम्प्ट और गुणवत्ता फ़िल्टरिंग टूल्स शामिल हैं।
यह रिलीज़ उच्च-गुणवत्ता वाले मॉडल और सिंथेटिक प्रशिक्षण डेटा उत्पन्न करने के लिए उपकरण प्रदान करके समुदाय अनुसंधान और व्यावसायिक अनुप्रयोगों का समर्थन करने के उद्देश्य से की गई है।