NVIDIA Puzzle-75B-A9B NVFP4 berjalan pada 132 t/s di 3×3090

Model Nemotron-3-Puzzle-75B-A9B, menggunakan kuantisasi NVFP4 dan vLLM 0.22.1, mencapai kecepatan dekoding 132 token per detik di tiga aliran pada setup tiga GPU NVIDIA RTX 3090. Konfigurasi ini memanfaatkan paralelisme pipeline dengan kartu yang dibatasi pada 200W masing-masing, sementara kartu keempat menangani sidecar suara.

• Model beroperasi sebagai arsitektur Mixture of Experts (MoE) total 75B / aktif 9B.
• Mendukung tiga kursi dengan jendela konteks 256K menggunakan cache KV fp8 dan Mamba hibrida untuk menjaga penggunaan memori tetap rendah.
• Metrik kinerja termasuk kecepatan prisiang 1.949 t/s dan konsumsi daya sekitar 500W untuk seluruh kotak.
• Setup ini menggantikan Nemotron Super 120B MoE GGUF resident sebelumnya, menawarkan pengikut instruksi yang lebih baik dan kecepatan per watt sekitar dua kali lipat sambil membebaskan satu kartu GPU.

Kategori ukuran ini signifikan karena 70–80B parameter total dengan ~10B parameter aktif mengisi tepat 72GB VRAM terkuantisasi, memberikan kualitas kelas padat pada kecepatan kelas A3B. Saat ini, Puzzle adalah satu-satunya opsi modern di pita parameter spesifik ini untuk rig multi-24GB.