GLM-5.2 на 8xB200: NVFP4 + 2x TP=4 удваивает пропускную способность по сравнению с FP8 TP=8

Инженерный анализ развёртывания GLM-5.2 на узлах 8x B200 выявляет, что квантование NVFP4 с двумя репликами TP=4 является оптимальной конфигурацией, обеспечивающей примерно двукратное увеличение пропускной способности узла по сравнению со стандартным FP8 при настройке TP=8.

• GLM-5.2 — это MoE-модель объёмом ~750B с ~40B активных параметров; веса NVFP4 занимают 459 ГБ, что укладывается в выделение 720 ГБ HBM одного узла B200 под KV-кэш.
• Бенчмарки с использованием SGLang v0.5.12 показывают, что NVFP4 TP=4 достигает 4 116 tok/s/GPU при конкурентности 128, по сравнению с 1 947 tok/s/GPU для FP8 TP=8 при конкурентности 256.
• Две независимые реплики TP=4 на узле дают ~33k tok/s совокупной пропускной способности против ~15.6k для одной движка FP8 TP=8.
• NVFP4 снижает стоимость примерно до $0.13 за миллион токенов на B200, что является улучшением в ~3.5 раза по сравнению с эталонными значениями H200 FP8.
• Пользователи должны использовать SGLang v0.5.13.post1+ для поддержки NVFP4 и избегать SGLang <=v0.5.9 из-за регрессий точности в пути flashmla_kv.

Эта конфигурация максимизирует эффективность оборудования, устраняя узкие места пропускной способности, присущие декодированию MoE, хотя реальная конкуренция планировщика может снизить теоретический прирост в 2 раза.