Пользователь квантовал модель GLM-5.2 (753B MoE) до Int4-Int8Mix с 4-битным KV-кэшем NVFP4 и запустил её на четырёх системах DGX Spark (GB10), достигнув результата 70,8% в Terminal-Bench 2.1.

  • Конфигурация использовала TP=4 на 4 узлах DGX Spark с пропускной способностью ~273 ГБ/с и окном контекста 100K, обеспечиваемым 4-битным KV-кэшем.
  • Инференс использовал MTP speculative decode и FULL CUDA graphs, что дало примерно 27,5 токенов в секунду.
  • Результат 63/89 задач сравнивается с официальным результатом полной точности 81,0% на том же агентном каркасе Terminus-2.
  • Разрыв ~10 пунктов включает эффекты квантования, уменьшенное ограничение контекста 100K по сравнению с официальными 256K и меньший бюджет токенов.

Запуск демонстрирует, что 4-битная модель с открытыми весами на оборудовании потребительского класса может сохранять примерно 87% от официальной производительности полной точности на сложных агентных бенчмарках.