GLM-5.2-Int4-Int8 alcanza ~1.200 t/s de prellenado y 33–54 t/s de decodificación en 8× GB10

El artículo informa resultados de benchmarks para el modelo GLM-5.2-Int4-Int8 ejecutándose en ocho aceleradores GB10. La configuración logra aproximadamente 1.200 tokens por segundo durante el prellenado y un promedio de 33–54 tokens por segundo durante la decodificación.

• El rendimiento del prellenado alcanza ~1.200 t/s.
• El rendimiento promedio de decodificación oscila entre 33 y 54 t/s.
• La configuración soporta paralelismo de tensor (tp) 8 tanto para GLM-5.2 como para un modelo paralelo Mimo 2.5 que maneja entrada de imagen/audio.

Este perfil de rendimiento permite al sistema ejecutar GLM-5.2 junto con otros modelos como Mimo 2.5 en el mismo hardware.