一名用户展示了在由四块通过100G交换机连接的GB10 GPU组成的自定义硬件设置上运行GLM 5.2模型，实现了约330k上下文长度以及生成速度约为每秒25个token。

  • 该配置使用TP4+DCP2实现约360k的KV池，在较长提示词下预填充速度达到900-1000 tok/s。
  • 使用DCP4可将上下文扩展至660k，但预填充速度降至约400 tok/s；而降低DCP设置则使预填充速度提升至约750 tok/s。
  • 解码性能因内容类型而异：思维任务约为20 tok/s，代码为25-35 tok/s，Pi中的典型对话轮次约为24 tok/s。
  • 对模型进行5-10%的剪枝可能支持1M上下文或更高并发，但发现无数据的10%剪枝在保留编码能力的同时损失了部分指令遵循能力。
  • 总硬件成本约为16,000美元，组件包括两台Acer GN100、两台Asus GX10以及一台Mikrotik CRS504交换机。

作者指出，虽然此设置对于通用用途并非财务最优，但它是本地在配备512GB内存的Mac Studio上运行GLM的可行替代方案，后者据报道仅能达到12 tok/s的解码速度。