GLM-5.2 sur 8xB200 : NVFP4 + 2x TP=4 double le débit par rapport à FP8 TP=8

Une analyse technique du déploiement de GLM-5.2 sur 8 nœuds B200 identifie la quantification NVFP4 avec deux répliques TP=4 comme la configuration optimale, offrant environ le double du débit par nœud par rapport à FP8 standard avec une configuration TP=8 unique.

• GLM-5.2 est un modèle MoE d'environ 750B avec ~40B de paramètres actifs ; les poids NVFP4 nécessitent 459 GB, ce qui tient dans l'allocation HBM de 720 GB d'un B200 pour le cache KV.
• Les benchmarks utilisant SGLang v0.5.12 montrent que NVFP4 TP=4 atteint 4 116 tok/s/GPU à une concurrence de 128, comparé à 1 947 tok/s/GPU pour FP8 TP=8 à une concurrence de 256.
• Deux répliques TP=4 indépendantes par nœud produisent un débit agrégé d'environ 33k tok/s contre ~15.6k pour un seul moteur FP8 TP=8.
• NVFP4 réduit le coût à environ 0,13 $/M tokens sur les B200, soit une amélioration d'environ 3,5x par rapport aux références H200 FP8.
• Les utilisateurs doivent utiliser SGLang v0.5.13.post1+ pour la prise en charge de NVFP4 et éviter SGLang <=v0.5.9 en raison de régressions de précision dans le chemin flashmla_kv.

Cette configuration maximise l'efficacité matérielle en adressant les goulots d'étranglement de bande passante inhérents au décodage MoE, bien que la contention réelle du planificateur puisse réduire le gain théorique de 2x.