Seorang pengguna Reddit mendemonstrasikan menjalankan model bahasa besar yang melebihi 100 miliar parameter pada laptop dengan Intel i7-8750H, RAM 20GB, dan GPU GTX 1050 Mobile. Penyiapan ini sangat bergantung pada pengalihan parameter model ke drive NVMe Samsung menggunakan akses file peta memori (mmap).
- Pengguna secara ketat menggunakan model Mixture of Experts (MoE) untuk menghindari membebani CPU, sementara model padat dianggap tidak cocok.
- Pengaturan kuantisasi mencakup Q3_K_M untuk model besar standar dan Q2 untuk yang melebihi 700B parameter dengan lebih dari 20B parameter aktif.
- Model spesifik yang diuji termasuk Deepseek-V4-Flash (UD-IQ3_XXS) mencapai 1,0-1,8 token per detik dan Nemotron-3-Super-120B-A12B (UD-Q3_K_M) mencapai 1,5-2,5 token per detik.
- Alur kerja ini memanfaatkan LM Studio dengan pemrosesan gaya batch untuk tugas seperti rekayasa balik dan audit kode, mengakomodasi jendela konteks 16K hingga 90K token.
Konfigurasi ini memungkinkan pengguna di wilayah dengan opsi pembayaran internasional yang terbatas untuk memanfaatkan model lokal yang kuat sebagai alternatif layanan cloud.