GLM-5.2-Int4-Int8 alcança ~1.200 t/s de prefill e 33–54 t/s de decode em 8× GB10

O artigo relata resultados de benchmark para o modelo GLM-5.2-Int4-Int8 rodando em oito aceleradores GB10. A configuração alcança aproximadamente 1.200 tokens por segundo durante o prefill e uma média de 33–54 tokens por segundo durante a decodificação.

• A taxa de prefill atinge ~1.200 t/s.
• A taxa média de decode varia de 33 a 54 t/s.
• A configuração suporta paralelismo de tensor (tp) 8 tanto para GLM-5.2 quanto para um modelo paralelo Mimo 2.5 que lida com entrada de imagem/áudio.

Este perfil de desempenho permite que o sistema execute GLM-5.2 junto com outros modelos como Mimo 2.5 no mesmo hardware.