NVIDIA Puzzle-75B-A9B NVFP4 3×3090 पर 132 t/s पर चलता है

NVFP4 क्वांटाइजेशन और vLLM 0.22.1 का उपयोग करने वाला Nemotron-3-Puzzle-75B-A9B मॉडल, तीन NVIDIA RTX 3090 GPUs के सेटअप पर तीन स्ट्रीम्स में 132 टोकन प्रति सेकंड डिकोड गति प्राप्त करता है। यह कॉन्फ़िगरेशन पाइलाइन समानांतरता का उपयोग करता है जिसमें कार्ड प्रत्येक को 200W तक सीमित रखा गया है, जबकि एक चौथा कार्ड एक स्पीच साइडकार संभालता है।

• मॉडल 75B-कुल / 9B-सक्रिय एक्सपर्ट्स का मिश्रण (MoE) आर्किटेक्चर के रूप में काम करता है।
• यह fp8 KV कैश और हाइब्रिड Mamba का उपयोग करके कम मेमोरी उपयोग बनाए रखने के लिए 256K संदर्भ विंडो के साथ तीन सीटों का समर्थन करता है।
• प्रदर्शन मेट्रिक्स में 1,949 t/s प्रीफिल गति और पूरे बॉक्स के लिए लगभग 500W पावर खपत शामिल है।
• यह सेटअप एक पिछले Nemotron Super 120B MoE GGUF निवासी को प्रतिस्थापित करता है, बेहतर निर्देश-अनुसरण और वाट प्रति गति में लगभग दोगुनी गति प्रदान करते हुए एक GPU कार्ड को मुक्त करता है।

यह आकार श्रेणी महत्वपूर्ण है क्योंकि 70–80B कुल पैरामीटर के साथ ~10B सक्रिय पैरामीटर ठीक 72GB क्वांटाइज्ड VRAM भरते हैं, जो A3B-क्लास गति पर घन-श्रेणी गुणवत्ता प्रदान करते हैं। वर्तमान में, Puzzle इस विशिष्ट पैरामीटर बैंड के लिए एकमात्र आधुनिक विकल्प है जो मल्टी-24GB रigs के लिए उपयुक्त है।