GLM-5.2 en 8xB200: NVFP4 + 2x TP=4 duplica el rendimiento frente a FP8 TP=8

Un análisis de ingeniería sobre el despliegue de GLM-5.2 en nodos 8x B200 identifica la cuantización NVFP4 con dos réplicas TP=4 como la configuración óptima, ofreciendo aproximadamente el doble del rendimiento por nodo en comparación con FP8 estándar con una configuración TP=8 única.

• GLM-5.2 es un modelo MoE de ~750B con ~40B parámetros activos; los pesos NVFP4 requieren 459 GB, ajustándose dentro de la asignación HBM de 720 GB de un B200 para el caché KV.
• Las pruebas con SGLang v0.5.12 muestran que NVFP4 TP=4 alcanza 4.116 tok/s/GPU a concurrencia 128, en comparación con 1.947 tok/s/GPU para FP8 TP=8 a concurrencia 256.
• Dos réplicas TP=4 independientes por nodo producen ~33k tok/s de rendimiento agregado frente a ~15.6k para un único motor FP8 TP=8.
• NVFP4 reduce el costo a aproximadamente $0,13/M tokens en B200s, una mejora de ~3.5x sobre las referencias H200 FP8.
• Los usuarios deben usar SGLang v0.5.13.post1+ para el soporte NVFP4 y evitar SGLang <=v0.5.9 debido a regresiones de precisión en la ruta flashmla_kv.

Esta configuración maximiza la eficiencia del hardware abordando los cuellos de botella de ancho de banda inherentes a la decodificación MoE, aunque la contención del programador en el mundo real puede reducir la ganancia teórica de 2x.