Seorang pengguna Reddit dengan server yang dilengkapi dua GPU RTX 5060 16GB dan DDR4 ECC 80GB meminta saran konfigurasi untuk mengoptimalkan kinerja saat membagi bobot model di antara kartu-kartu tersebut.
- Setup ini memanfaatkan PCIe 3.0, yang dicatat oleh pengguna mungkin menghambat efisiensi paralelisme tensor.
- Benchmark saat ini menunjukkan sekitar 3200 token per detik untuk pemrosesan prompt dan 100 token per detik untuk generasi dengan model Qwen 3.6 35B.
- Model Qwen 27B yang lebih kecil mencapai sekitar 600 token per detik untuk pemrosesan prompt dan 23 token per detik untuk generasi dalam konfigurasi split tensor.
- Pengguna saat ini menggunakan format GGUF dengan llama.cpp tetapi juga memiliki akses ke model vLLM NVFP4.
Postingan ini bertujuan untuk mengumpulkan rekomendasi komunitas tentang pengaturan untuk meningkatkan throughput dan latensi saat menjalankan model bahasa besar di atas perangkat keras GPU ganda.