8x B200 노드에 GLM-5.2를 배포하는 엔지니어링 분석은 NVFP4 양자화와 두 개의 TP=4 복제본을 최적 구성으로 식별했으며, 이는 단일 TP=8 설정의 표준 FP8 대비 노드 처리량을 약 두 배 향상시킵니다.

  • GLM-5.2는 ~750B MoE 모델로 ~40B의 활성 파라미터를 가지며; NVFP4 가중치는 459 GB가 필요하여 KV 캐시를 위한 B200의 720 GB HBM 할당량 내에 적합합니다.
  • SGLang v0.5.12를 사용한 벤치마크는 TP=4에서 NVFP4가 동시성 128에서 GPU당 4,116 tok/s를 달성하는 반면, FP8 TP=8은 동시성 256에서 GPU당 1,947 tok/s임을 보여줍니다.
  • 노드당 두 개의 독립적인 TP=4 복제본은 단일 FP8 TP=8 엔진의 ~15.6k 대비 약 33k tok/s의 집합 처리량을 제공합니다.
  • NVFP4는 B200에서 토큰 100만 개당 비용을 약 $0.13으로 낮추며, 이는 H200 FP8 기준 대비 ~3.5배 개선된 것입니다.
  • 사용자는 NVFP4 지원을 위해 SGLang v0.5.13.post1+를 사용해야 하며, flashmla_kv 경로에서 정확도 저하로 인해 SGLang <=v0.5.9는 피해야 합니다.

이 구성은 MoE 디코딩에 내재된 대역폭 병목 현상을 해결하여 하드웨어 효율성을 극대화하지만, 실제 환경의 스케줄러 경합으로 인해 이론적인 2배 향상은 감소할 수 있습니다.