一位拥有配备两张 RTX 5060 16GB GPU 和 80GB ECC DDR4 的服务器 Reddit 用户，正在寻求配置建议，以优化在卡间分割模型权重时的性能。

  • 该设置使用 PCIe 3.0，用户指出这可能会阻碍张量并行效率。
  • 目前的基准测试显示，使用 Qwen 3.6 35B 模型时，提示处理速度约为每秒 3200 个 token，生成速度为每秒 100 个 token。
  • 较小的 Qwen 27B 模型在张量分割配置下，提示处理速度约为每秒 600 个 token，生成速度为每秒 23 个 token。
  • 用户目前使用 llama.cpp 的 GGUF 格式，但也拥有 vLLM NVFP4 模型的访问权限。

该帖旨在收集社区关于在双 GPU 硬件上运行大型语言模型时，改善吞吐量和延迟的设置建议。