Kode CUDA khusus menjalankan Qwen3 30B A3B pada RTX 5060 Ti dengan kecepatan 50 tok/s

Seorang pengguna telah mengembangkan kode CUDA dan C++ khusus yang memungkinkan menjalankan model Qwen3-30B-A3B pada kecepatan 50-54 token per detik di RTX 5060 Ti dengan VRAM 16 GB menggunakan presisi float8.

• Implementasi ini mencapai peningkatan kecepatan sekitar 50% dibandingkan llama.cpp, yang berjalan pada sekitar 33-34 tok/s dengan n-cpu-moe.
• Peningkatan kinerja berasal dari kombinasi solusi mutakhir yang ditemukan dalam makalah NeurIPS, ICML, dan EuroSys.
• Kode sumber tersedia melalui repositori.

Penulis menyarankan bahwa mesin semacam itu menyediakan peluang inferensi lokal baru pada perangkat keras konsumen, menawarkan alternatif yang lebih privat, lebih murah, dan lebih ramah lingkungan dibandingkan pusat data terpusat.