يحقق نموذج Nemotron-3-Puzzle-75B-A9B، باستخدام التكميم NVFP4 و vLLM 0.22.1، سرعة فك تشفير تبلغ 132 رمزًا في الثانية عبر ثلاث تدفقات على إعداد يتكون من ثلاثة وحدات معالجة رسومات NVIDIA RTX 3090. تستفيد هذه التكوينات من توازي الأنابيب مع تحديد كل بطاقة بـ 200 واط، بينما تتولى بطاقة رابعة مسؤولية مساعد صوتي.
- يعمل النموذج كبنية Mixture of Experts (MoE) بإجمالي 75 مليار/ نشط 9 مليار.
- يدعم ثلاثة مقاعد بنافذة سياق بحجم 256K باستخدام ذاكرة تخزين مؤقت fp8 و Mamba هجين للحفاظ على استخدام الذاكرة منخفضًا.
- تشمل مقاييس الأداء سرعة تعبئة أولية تبلغ 1,949 ت/ث واستهلاك طاقة يبلغ حوالي 500 واط للصندوق بأكمله.
- يستبدل هذا الإعداد السابق Nemotron Super 120B MoE GGUF resident، مما يوفر اتباع تعليمات أفضل وسرعة لكل واط تقارب الضعف مع تحرير بطاقة وحدة معالجة رسومات واحدة.
هذه الفئة من الحجم مهمة لأن 70–80 مليار معلمة إجمالية مع ~10 مليارات معلمة نشطة تملأ بالضبط 72 جيجابايت من ذاكرة الفيديو المكممة، مما يوفر جودة فئة كثيفة بسرعة فئة A3B. حاليًا، يعد Puzzle الخيار الحديث الوحيد في هذا النطاق المحدد من المعلمات للأجهزة متعددة الـ 24 جيجابايت.