Un usuario probó el modelo GLM 5.2 usando precisión FP8 y cuantización de caché clave-valor (KV) en una GPU H200 a través de SGLang. La evaluación se realizó en la suite de benchmarks Terminal-Bench 2.1.

  • El modelo superó 71 de las 89 tareas, obteniendo una puntuación del 79,8%.
  • Una tarea excedió el tiempo límite y no se volvió a ejecutar, lo que pudo afectar la puntuación final.
  • La prueba utilizó 218.656.815 tokens de entrada con una tasa de acierto en caché del 98,8%.

Esto demuestra el rendimiento de GLM 5.2 bajo condiciones específicas de cuantización en hardware de gama alta.