Artikel ini merinci kinerja modul Tesla V100-SXM2-16GB untuk menjalankan model bahasa besar lokal, menyoroti bandwidth HBM2 yang tinggi sebagai aset utama untuk inferensi meskipun tidak memiliki operasi tensor bf16 atau int8.
- Satu modul menjalankan Gemma 4 26B sepenuhnya di GPU, mencapai 99.8 tok/s dalam mode TCC dibandingkan dengan 56.8 tok/s di WSL2/MCDM.
- Dua modul menyediakan VRAM 32GB dan bandwidth sekitar dua kali lipat, memungkinkan Qwen3.6-35B berjalan sepenuhnya residensial dengan pemisahan tensor.
- Di bawah beban multi-agens konkuren dengan prompt pendek, throughput agregat meningkat dari 62.7 tok/s (1 agen) menjadi 338.1 tok/s (16 agen).
- Dengan prompt sistem realistis sekitar 24k token, throughput agregat mencapai puncak sekitar 150-175 tok/s untuk 8-16 agen konkuren.
- Dukungan driver terbatas pada versi R570 hingga R580, karena dukungan Volta berakhir di CUDA 13.3/R595.
- Pengaturan ganda memerlukan penanganan respons transien PSU tertentu untuk mencegah reboot keras saat beban.
Penulis mencatat bahwa meskipun kuantisasi Q4 bertahan baik untuk banyak tugas, itu adalah titik lemah untuk rantai agen panjang, dan pengguna dapat menukar konkurensi dengan kualitas dengan menggunakan bobot Q6_K jika kapasitas modul ganda 32GB memungkinkan.