对将GLM-5.2部署到8个B200节点上的工程分析表明，采用两个TP=4副本的NVFP4量化是最佳配置，其节点吞吐量约为标准FP8搭配单个TP=8设置的两倍。

  • GLM-5.2是一个约750B参数的MoE模型，具有约40B活跃参数；NVFP4权重需要459 GB，可容纳在B200的720 GB HBM KV缓存分配中。
  • 使用SGLang v0.5.12进行的基准测试显示，NVFP4 TP=4在并发数128时达到4,116 tok/s/GPU，而FP8 TP=8在并发数256时为1,947 tok/s/GPU。
  • 每个节点的两个独立TP=4副本产生约33k tok/s的聚合吞吐量，而单个FP8 TP=8引擎约为15.6k。
  • NVFP4将成本降低至B200上的约$0.13/M tokens，较H200 FP8参考值提升约3.5倍。
  • 用户必须使用SGLang v0.5.13.post1+以支持NVFP4，并避免使用SGLang <=v0.5.9，因为flashmla_kv路径中存在精度回归问题。

该配置通过解决MoE解码中固有的带宽瓶颈来最大化硬件效率，尽管实际调度器争用可能会降低理论上的2倍增益。