Seorang pengguna melakukan benchmark transfer PCIe dan kinerja pada setup dual-GPU menggunakan llama.cpp dengan Qwen3.6-27B-UD-Q4_K_XL.gguf pada konteks 180k. Pengujian ini membandingkan mode paralelisme tensor dan paralelisme pipeline untuk mengevaluasi penggunaan bandwidth dan throughput.

  • Mode paralelisme tensor mencapai kecepatan decode sebesar 47 token per detik dibandingkan dengan 30 token per detik untuk paralelisme pipeline.
  • Mode paralelisme pipeline menghasilkan kecepatan prefill yang lebih tinggi sebesar 1250 token per detik dibandingkan dengan 650 token per detik pada paralelisme tensor.
  • Pemantauan bandwidth PCIe melalui nvidia-smi menunjukkan transfer berkelanjutan selama decode dalam paralelisme tensor, sementara paralelisme pipeline menunjukkan puncak prefill yang bervariasi dan transfer berkelanjutan yang rendah.

Hasil ini menunjukkan bahwa penggunaan riser untuk menghubungkan GPU mungkin tidak secara signifikan menghambat kinerja, mendukung kelayakan konfigurasi perangkat keras semacam itu untuk setup multi-GPU.