GLM-5.2 pada 8xB200: NVFP4 + 2x TP=4 menggandakan throughput dibandingkan FP8 TP=8

Analisis teknik untuk mendeploy GLM-5.2 pada 8x node B200 mengidentifikasi kuantisasi NVFP4 dengan dua replika TP=4 sebagai konfigurasi optimal, menawarkan throughput node sekitar dua kali lipat dibandingkan FP8 standar dengan setup TP=8 tunggal.

• GLM-5.2 adalah model MoE ~750B dengan ~40B parameter aktif; bobot NVFP4 membutuhkan 459 GB, muat dalam alokasi HBM 720 GB satu B200 untuk cache KV.
• Benchmark menggunakan SGLang v0.5.12 menunjukkan NVFP4 TP=4 mencapai 4.116 tok/s/GPU pada konkurensi 128, dibandingkan 1.947 tok/s/GPU untuk FP8 TP=8 pada konkurensi 256.
• Dua replika TP=4 independen per node menghasilkan throughput agregat ~33k tok/s versus ~15.6k untuk satu mesin FP8 TP=8.
• NVFP4 mengurangi biaya menjadi sekitar $0,13/M token pada B200, peningkatan ~3,5x dibandingkan referensi H200 FP8.
• Pengguna harus menggunakan SGLang v0.5.13.post1+ untuk dukungan NVFP4 dan menghindari SGLang <=v0.5.9 karena regresi akurasi di jalur flashmla_kv.

Konfigurasi ini memaksimalkan efisiensi perangkat keras dengan mengatasi hambatan bandwidth yang melekat pada decoding MoE, meskipun konkurensi scheduler dunia nyata dapat mengurangi gain teoritis 2x.