NVIDIA ने Nemotron-4 340B मॉडल परिवार जारी किया है, जिसमें Base, Instruct और Reward वेरिएंट शामिल हैं, साथ ही एलाइनमेंट के लिए उपयोग किए गए सिंथेटिक डेटा जनरेशन पाइपलाइन का भी। मॉडल्स NVIDIA ओपन मॉडल लाइसेंस एग्रीमेंट के तहत खुले एक्सेस पर उपलब्ध हैं और FP8 प्रिसिजन में 8 GPUs वाले एकल DGX H100 पर फिट होने के लिए साइज़ किए गए हैं।
- Nemotron-4-340B-Base, Instruct और Reward वेरिएंट एक अनुमतिदायक लाइसेंस के तहत उपलब्ध हैं जो वितरण और संशोधन की अनुमति देता है।
- मॉडल्स ओपन-एक्सेस बेंचमार्क्स के मुकाबले प्रतिस्पर्धी प्रदर्शन करते हैं और FP8 प्रिसिजन में 8 GPUs वाले एकल DGX H100 पर फिट होने के लिए अनुकूलित किए गए हैं।
- मॉडल एलाइनमेंट प्रक्रिया में उपयोग किए गए डेटा का 98% से अधिक हिस्सा सिंथेटिक रूप से जनरेट किया गया था, जिससे दृष्टिकोण की प्रभावशीलता का प्रदर्शन हुआ।
- NVIDIA खुले शोध को समर्थन देने और छोटे भाषा मॉडल्स के प्रशिक्षण को सुगम बनाने के लिए सिंथेटिक डेटा जनरेशन पाइपलाइन को ओपन-सोर्स कर रहा है।
यह रिलीज विशेष रूप से छोटे भाषा मॉडल्स को प्रशिक्षित करने के लिए सिंथेटिक डेटा जनरेट करने वाले शोध अध्ययनों और व्यावसायिक अनुप्रयोगों में समुदाय के लिए लाभकारी होने का उद्देश्य रखती है।