GLM-5.2 em 8xB200: NVFP4 + 2x TP=4 duplica a taxa de processamento vs FP8 TP=8

Uma análise de engenharia sobre a implantação do GLM-5.2 em nós 8x B200 identifica a quantização NVFP4 com duas réplicas TP=4 como a configuração ideal, oferecendo aproximadamente o dobro da taxa de processamento por nó em comparação com o FP8 padrão com uma configuração TP=8 única.

• O GLM-5.2 é um modelo MoE de ~750B com ~40B parâmetros ativos; os pesos NVFP4 exigem 459 GB, cabendo dentro da alocação HBM de 720 GB de um B200 para o cache KV.
• Os benchmarks usando SGLang v0.5.12 mostram que o NVFP4 TP=4 alcança 4.116 tok/s/GPU com concorrência 128, em comparação a 1.947 tok/s/GPU para FP8 TP=8 com concorrência 256.
• Duas réplicas TP=4 independentes por nó geram ~33k tok/s de taxa de processamento agregada versus ~15,6k para um único mecanismo FP8 TP=8.
• O NVFP4 reduz o custo para aproximadamente $0,13/M tokens nos B200s, uma melhoria de ~3,5x em relação às referências H200 FP8.
• Os usuários devem usar SGLang v0.5.13.post1+ para suporte a NVFP4 e evitar SGLang <=v0.5.9 devido a regressões de precisão no caminho flashmla_kv.

Esta configuração maximiza a eficiência do hardware ao abordar gargalos de largura de banda inerentes à decodificação MoE, embora a contenção do escalonador do mundo real possa reduzir o ganho teórico de 2x.