8台のB200ノードへのGLM-5.2のデプロイに関するエンジニアリング分析により、NVFP4量子化とTP=4レプリカ2つが最適な構成であることが特定され、標準的なFP8とTP=8単一のセットアップと比較してノードのスループットが約2倍になることが示されています。

  • GLM-5.2は約750BのMoEモデルで、アクティブパラメータは約40Bです。NVFP4重みは459 GBを必要とし、KVキャッシュ用のB200の720 GB HBM割り当て内に収まります。
  • SGLang v0.5.12を使用したベンチマークでは、NVFP4 TP=4は同時実行128でGPUあたり4,116 tok/sを達成し、一方FP8 TP=8は同時実行256でGPUあたり1,947 tok/sです。
  • ノードあたり2つの独立したTP=4レプリカは、単一のFP8 TP=8エンジンに対する約15.6kと比較して、合計スループットが約33k tok/sを生み出します。
  • NVFP4はB200上でコストをトークン100万あたり約$0.13に削減し、H200 FP8の参照と比較して約3.5倍の改善となります。
  • ユーザーはNVFP4サポートのためにSGLang v0.5.13.post1+を使用し、flashmla_kvパスでの精度の低下を避けるためにSGLang <=v0.5.9を回避する必要があります。

この構成はMoEデコーディングに固有の帯域幅ボトルネックに対処することでハードウェア効率を最大化しますが、実際のスケジューラの競合により理論上の2倍の効果が減少する可能性があります。