NVFP4量子化とvLLM 0.22.1を使用するNemotron-3-Puzzle-75B-A9Bモデルは、3枚のNVIDIA RTX 3090 GPUを備えた環境で、3ストリームにわたって132トークン/秒のデコード速度を実現します。この構成では、各カードが200Wに制限されたパイプライン並列化を利用し、4枚目のカードは音声サイドカーを担当します。

  • モデルは75B合計/9BアクティブなMixture of Experts (MoE)アーキテクチャとして動作します。
  • fp8 KVキャッシュとハイブリッドMambaを使用してメモリ使用量を低く抑えながら、256Kのコンテキストウィンドウを持つ3つの席をサポートします。
  • 性能指標には1,949 t/sのプリフィル速度と、ボックス全体の約500Wの消費電力が含まれます。
  • このセットアップは、以前のNemotron Super 120B MoE GGUFリジデントを置き換え、より優れた指示追従性とワットあたりの速度が約2倍になり、1枚のGPUカードを解放します。

このサイズカテゴリは重要であり、70〜80Bの合計パラメータと約10Bのアクティブパラメータは、量子化されたVRAMを正確に72GB満たし、A3Bクラスの速度で密集クラス品質を提供します。現在、Puzzleはこの特定のパラメータ帯域における唯一の現代的なオプションです。