NVIDIA Puzzle-75B-A9B NVFP4 atteint 132 t/s sur 3×3090

Le modèle Nemotron-3-Puzzle-75B-A9B, utilisant la quantification NVFP4 et vLLM 0.22.1, atteint une vitesse de décodage de 132 tokens par seconde sur trois flux avec une configuration de trois cartes GPU NVIDIA RTX 3090. Cette configuration utilise le parallélisme de pipeline avec des cartes limitées à 200W chacune, tandis qu'une quatrième carte gère un sidecar vocal.

• Le modèle fonctionne comme une architecture Mixture of Experts (MoE) de 75B total / 9B actif.
• Il prend en charge trois sièges avec une fenêtre de contexte de 256K en utilisant un cache KV fp8 et un Mamba hybride pour maintenir une faible utilisation de la mémoire.
• Les métriques de performance incluent une vitesse de préremplissage de 1 949 t/s et une consommation d'énergie d'environ 500W pour l'ensemble du boîtier.
• La configuration remplace un précédent Nemotron Super 120B MoE GGUF resident, offrant un meilleur suivi des instructions et environ le double de la vitesse par watt tout en libérant une carte GPU.

Cette catégorie de taille est significative car 70–80B paramètres totaux avec ~10B paramètres actifs remplissent exactement 72 Go de VRAM quantifié, offrant une qualité de classe dense à la vitesse de classe A3B. Actuellement, Puzzle est la seule option moderne dans cette bande de paramètres spécifique pour les rigs multi-24Go.