GLM-5.2-Int4-Int8 atteint ~1 200 t/s de préremplissage et 33–54 t/s de décodage sur 8× GB10

L'article rapporte les résultats de benchmark du modèle GLM-5.2-Int4-Int8 exécuté sur huit accélérateurs GB10. La configuration atteint environ 1 200 tokens par seconde pendant le préremplissage et une moyenne de 33 à 54 tokens par seconde pendant le décodage.

• Le débit de préremplissage atteint ~1 200 t/s.
• Le débit moyen de décodage varie de 33 à 54 t/s.
• La configuration prend en charge la parallélisation de tenseurs (tp) 8 pour GLM-5.2 et un modèle Mimo 2.5 parallèle gérant les entrées image/audio.

Ce profil de performance permet au système d'exécuter GLM-5.2 alongside d'autres modèles comme Mimo 2.5 sur le même matériel.