Пользователь протестировал модель GLM 5.2 с точностью FP8 и квантованием ключ-значение (KV) на GPU H200 через SGLang. Оценка проводилась на наборе бенчмарков Terminal-Bench 2.1.

  • Модель успешно выполнила 71 из 89 задач, что дало результат 79,8%.
  • Одна задача завершилась по таймауту и не была повторена, что могло повлиять на итоговый балл.
  • Тестирование использовало 218 656 815 входных токенов с частотой попадания в кэш 98,8%.

Это демонстрирует производительность GLM 5.2 при специфических условиях квантования на мощном оборудовании.