O modelo Nemotron-3-Puzzle-75B-A9B, usando quantização NVFP4 e vLLM 0.22.1, alcança velocidade de decodificação de 132 tokens por segundo através de três fluxos em uma configuração com três GPUs NVIDIA RTX 3090. Esta configuração utiliza paralelismo de pipeline com as placas limitadas a 200W cada, enquanto uma quarta placa cuida de um sidecar de fala.

  • O modelo opera como uma arquitetura Mixture of Experts (MoE) de 75B-total / 9B-ativa.
  • Suporta três assentos com janela de contexto de 256K usando cache KV fp8 e Mamba híbrido para manter o uso de memória baixo.
  • As métricas de desempenho incluem velocidade de prefill de 1.949 t/s e consumo de energia de aproximadamente 500W para a caixa inteira.
  • A configuração substitui um residente GGUF Nemotron Super 120B MoE anterior, oferecendo melhor seguimento de instruções e aproximadamente o dobro da velocidade por watt, além de liberar uma placa de GPU.

Esta categoria de tamanho é significativa porque 70–80B parâmetros totais com ~10B parâmetros ativos preenchem exatamente 72GB de VRAM quantizada, fornecendo qualidade de classe densa em velocidade de classe A3B. Atualmente, Puzzle é a única opção moderna nesta faixa específica de parâmetros para rigs multi-24GB.