GLM-5.2-Int4-Int8, 8× GB10에서 ~1,200 t/s prefill 및 33–54 t/s decode 달성

본 기사는 여덟 개의 GB10 가속기에서 실행되는 GLM-5.2-Int4-Int8 모델의 벤치마크 결과를 보고합니다. 이 구성은 prefill 동안 약 1,200 토큰/초, 디코딩 동안 평균 33–54 토큰/초를 달성합니다.

• prefill 처리량은 ~1,200 t/s에 도달합니다.
• 평균 decode 처리량은 33에서 54 t/s 범위입니다.
• 이 설정은 GLM-5.2와 이미지/오디오 입력을 처리하는 병렬 Mimo 2.5 모델 모두에 대해 텐서 병렬성(tp) 8을 지원합니다.

이 성능 프로파일은 시스템이 동일한 하드웨어에서 GLM-5.2를 Mimo 2.5와 같은 다른 모델과 함께 실행할 수 있게 합니다.