Un utilisateur a testé le modèle GLM 5.2 en précision FP8 et quantisation du cache clé-valeur FP8 sur un GPU H200 via SGLang. L'évaluation a été réalisée sur la suite de benchmarks Terminal-Bench 2.1.
- Le modèle a réussi 71 tâches sur 89, obtenant un score de 79,8 %.
- Une tâche a expiré et n'a pas été relancée, ce qui aurait pu affecter le score final.
- Le test a utilisé 218 656 815 tokens d'entrée avec un taux de hit de cache de 98,8 %.
Cela démontre les performances de GLM 5.2 dans des conditions de quantification spécifiques sur du matériel haut de gamme.