该文章报告了在八个 GB10 加速器上运行的 GLM-5.2-Int4-Int8 模型的基准测试结果。该配置在预填充期间实现约 1,200 个 token/秒，在解码期间平均达到 33–54 个 token/秒。

  • 预填充吞吐量达到 ~1,200 t/s。
  • 平均解码吞吐量范围为 33 到 54 t/s。
  • 该设置支持张量并行 (tp) 8，适用于 GLM-5.2 和处理图像/音频输入的并行 Mimo 2.5 模型。

此性能配置允许系统在相同的硬件上同时运行 GLM-5.2 和其他模型（如 Mimo 2.5）。