使用 NVFP4 量化和 vLLM 0.22.1 的 Nemotron-3-Puzzle-75B-A9B 模型，在三块 NVIDIA RTX 3090 GPU 组成的配置中，通过三个流实现了每秒 132 个 token 的解码速度。该配置利用流水线并行，每张卡功耗限制为 200W，而第四张卡用于处理语音侧车。

  • 该模型采用总计 75B / 活跃 9B 的混合专家（MoE）架构。
  • 它支持三个席位，使用 fp8 KV 缓存和混合 Mamba 保持低内存占用，上下文窗口为 256K。
  • 性能指标包括 1,949 t/s 的预填充速度和整机约 500W 的功耗。
  • 该配置取代了之前的 Nemotron Super 120B MoE GGUF 驻留模型，提供了更好的指令遵循能力、每瓦特约双倍的推理速度，并释放了一张 GPU 卡。

这一参数规模类别具有重要意义，因为总计 70–80B 参数、活跃参数约 10B 的模型恰好填满 72GB 量化显存，在 A3B 类速度下提供密集模型级别的质量。目前，Puzzle 是此类多张 24GB 显存设备中该特定参数区间的唯一现代选项。