Seorang pengguna melakukan benchmark pada setup quad NVIDIA RTX 5060 Ti untuk menjalankan model Qwen3.6-27B, dengan target generasi kode yang hemat biaya dan dukungan jendela konteks tinggi.
Konfigurasi ini menjalankan model dalam kuantisasi Q8 dengan cache kunci-nilai FP16 dan Prediksi Multi-Token (MTP) diaktifkan untuk memaksimalkan akurasi dan kecepatan.
Pengujian pada instance Vast AI menghasilkan 608 tok/s untuk prefill dingin dan 52,2 tok/s untuk decoding pada panjang konteks 256K. Pengarang membandingkan ini dengan alternatif seperti dual RTX 3090 dan Mac M5 Max, mencatat bahwa quad 5060 Ti menawarkan nilai dan kinerja yang lebih baik untuk model padat.
Setup ini memberikan kecepatan inferensi yang sangat baik untuk generasi kode mutakhir dalam anggaran perangkat keras $2.000.