一名用户测试了在 Asus X99-E-WS 主板上运行六张 AMD MI50 GPU,使用 PEX8749 PCIe 交换机连接四张卡,而剩余两张直接连接。目的是确定这种配置与所有六张 GPU 直接运行相比,是否改善或降低了令牌生成 (tg) 和提示处理 (pp) 速度。

  • 在配备 128GB RAM 的 Intel Xeon E5-2680 v4 上测试 dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B 模型。
  • 交换机配置导致 pp512 变化 -0.74%,pp16384+tg128 变化 -0.36%。
  • 令牌生成速度在 tg128 上提高了 +2.73%,在 pp65536+tg128 上提高了 +0.83%。
  • 组合测试 pp512+tg128 显示提高了 +1.90%,而 pp4096+tg128 几乎保持不变,为 +0.01%。

结果表明,使用 PEX8749 交换机扩展 GPU 容量引入了可忽略不计的性能损失,令牌生成速度在多个基准测试中实际上略有提升。