2枚のRTX 5060 16GB GPUと80GBのECC DDR4を備えたサーバーを持つRedditユーザーが、カード間でモデルウェイトを分割する際の性能を最適化するための設定アドバイスを探しています。

  • このセットアップはPCIe 3.0を使用しており、ユーザーはこれがテンソル並列処理の効率を妨げる可能性があることに言及しています。
  • 現在のベンチマークでは、Qwen 3.6 35Bモデルのプロンプト処理で約3200トークン/秒、生成で100トークン/秒となっています。
  • より小さなQwen 27Bモデルは、テンソル分割構成でプロンプト処理が約600トークン/秒、生成が23トークン/秒の性能を発揮します。
  • ユーザーは現在llama.cppとGGUF形式を使用していますが、vLLM NVFP4モデルにもアクセス可能です。

この投稿は、デュアルGPUハードウェア上で大規模言語モデルを実行する際のスループットとレイテンシーを改善するための設定に関するコミュニティの推奨事項を集めることを目的としています。