NVIDIA Puzzle-75B-A9B NVFP4 corre a 132 t/s en 3×3090

El modelo Nemotron-3-Puzzle-75B-A9B, utilizando cuantización NVFP4 y vLLM 0.22.1, alcanza una velocidad de decodificación de 132 tokens por segundo a través de tres flujos en una configuración de tres GPUs NVIDIA RTX 3090. Esta configuración utiliza paralelismo de tubería con tarjetas limitadas a 200W cada una, mientras que una cuarta tarjeta maneja un sidecar de voz.

• El modelo opera como una arquitectura Mixture of Experts (MoE) de 75B-total / 9B-activa.
• Soporta tres asientos con una ventana de contexto de 256K utilizando caché KV fp8 y Mamba híbrido para mantener el uso de memoria bajo.
• Las métricas de rendimiento incluyen una velocidad de prellenado de 1,949 t/s y un consumo de energía de aproximadamente 500W para toda la caja.
• La configuración reemplaza a un residente GGUF Nemotron Super 120B MoE anterior, ofreciendo mejor seguimiento de instrucciones y aproximadamente el doble de velocidad por vatio mientras libera una tarjeta GPU.

Esta categoría de tamaño es significativa porque 70–80B parámetros totales con ~10B parámetros activos llenan exactamente 72GB de VRAM cuantizada, proporcionando calidad de clase densa a velocidad de clase A3B. Actualmente, Puzzle es la única opción moderna en esta banda específica de parámetros para rigs multi-24GB.