用户使用 llama.cpp 和 Qwen3.6-27B-UD-Q4_K_XL.gguf（上下文长度180k）在双GPU设置上对PCIe传输和性能进行基准测试。该测试比较了张量并行和流水线并行模式，以评估带宽利用率和吞吐量。

  • 张量并行模式的解码速度为每秒47个token，而流水线并行的速度为每秒30个token。
  • 流水线并行模式的预填充速度更高，达到每秒1250个token，相比之下张量并行仅为每秒650个token。
  • 通过 nvidia-smi 监控PCIe带宽显示，在张量并行模式下解码期间传输持续稳定，而流水线并行模式则表现出可变的预填充峰值和较低的持续传输。

结果表明，使用延长线连接GPU可能不会显著限制性能，支持了这种硬件配置在多GPU设置中的可行性。