Menjalankan Qwen3.6-35B pada dua GPU P102-100 bekas seharga $100

Artikel ini mendemonstrasikan menjalankan model Qwen3.6-35B-A3B menggunakan dua kartu grafis NVIDIA P102-100, yang harganya sekitar $100 secara total. Konfigurasi ini menyediakan 20GB VRAM dan bandwidth memori sebesar 448GB/s.

• Sistem mendukung 3 pengguna simultan dengan jendela konteks hingga 32768 token.
• Kecepatan inferensi mencapai sekitar 23,5 token per detik selama pengujian.
• Konfigurasi ini menggunakan llama.cpp untuk mengelola pemuatan model dan alokasi slot di kedua GPU.

Pendekatan ini menawarkan alternatif berbiaya rendah untuk menjalankan model bahasa besar secara lokal, memberikan kecepatan dan kapasitas konteks yang lebih baik dibandingkan kartu yang lebih murah dengan VRAM lebih sedikit.