NVIDIA ने Nemotron-Labs-3-Puzzle-75B-A9B मॉडल जारी किया है, जो Nemotron-3-Super-120B-A12B से व्युत्पन्न एक डिप्लॉयमेंट-अनुकूलित बड़ा भाषा मॉडल (LLM) है। यह तर्क-केंद्रित और लंबे संदर्भ वाले कार्यभारों के लिए निष्पादन दक्षता को महत्वपूर्ण रूप से बढ़ाने के लिए Iterative Puzzle पोस्ट-ट्रेनिंग कंप्रेशन फ्रेमवर्क का उपयोग करता है, जबकि मजबूत डाउनस्ट्रीम सटीकता बनाए रखता है।
- कुल 120.7B / सक्रिय 12.8B से पैरामीटर को कुल 75.3B / सक्रिय 9.3B तक कम करता है।
- मatched उपयोगकर्ता-थ्रूपुट बाधाओं के तहत एकल 8x B200 नोड पर लगभग 2x उच्च सर्वर थ्रूपुट प्राप्त करता है।
- एकल H100 पर 1M-टोकन की टिकाऊ एकाधिकता को 1 अनुरोध से बढ़ाकर 8 अनुरोध कर देता है।
- तर्क, कोडिंग, बहुभाषी, लंबे संदर्भ और एजेंटिक बेंचमार्क्स में मजबूत सटीकता बनाए रखता है।
यह मॉडल तेज़ टेक्स्ट जनरेशन के लिए मल्टी-टोकन प्रिडिक्शन का समर्थन करता है और अंग्रेजी, फ्रेंच, जर्मन, इतालवी, जापानी, स्पेनिश और चीनी में व्यावसायिक उपयोग के लिए तैयार है।