一位用户将 GLM-5.2 (753B MoE) 模型量化为 Int4-Int8Mix，并使用 NVFP4 4-bit KV 缓存，在四台 DGX Spark (GB10) 系统上运行，在 Terminal-Bench 2.1 中取得了 70.8% 的得分。

  • 该设置使用 TP=4 跨 4× DGX Spark 节点，带宽约为 273 GB/s，并通过 4-bit KV 缓存启用了 100K 上下文窗口。
  • 推理使用了 MTP speculative decode 和 FULL CUDA graphs，每秒产生约 27.5 个 token。
  • 63/89 项任务的结果与同一 Terminus-2 智能体框架上官方全精度得分 81.0% 进行了比较。
  • 约 10 分的差距包括量化影响、相比官方 256K 减少的 100K 上下文限制以及更小的 token 预算。

此次运行表明，消费级硬件上的 4-bit 开源模型可以在复杂的智能体基准测试中保留约 87% 的官方全精度性能。