あるユーザーがllama.cppとQwen3.6-27B-UD-Q4_K_XL.ggufを用いたデュアルGPU環境でPCIe転送とパフォーマンスをベンチマークしました。テストは、帯域幅の使用量とスループットを評価するために、テンソル並列モードとパイプライン並列モードを比較しています。

  • テンソル並列モードは、パイプライン並列の30トークン/秒に対して、47トークン/秒のデコード速度を実現しました。
  • パイプライン並列モードは、テンソル並列の650トークン/秒と比較して、1250トークン/秒という高いプリフィル速度を生み出しました。
  • nvidia-smiによるPCIe帯域幅のモニタリングでは、テンソル並列ではデコード中に持続的な転送が行われる一方、パイプライン並列では可変のプリフィルピークと低い持続的転送が見られました。

これらの結果は、GPUを接続するためにライザーを使用してもパフォーマンスに大きなボトルネックを生じない可能性を示唆しており、マルチGPU環境におけるそのようなハードウェア構成の有効性を支持するものです。