Penulis membagikan setup praktis untuk menggunakan model bahasa besar (LLM) lokal pada perangkat keras yang terbatas, khususnya laptop dengan RAM 32GB dan NVIDIA RTX 4070 dengan VRAM 8GB. Strategi intinya adalah menjalankan model Qwen3.6-35B-A3B secara lokal sebagai 'agen pemrograman kecil' sambil memindahkan perencanaan kompleks ke instance GLM 5.2 berbasis cloud.
- Model lokal Qwen3.6-35B-A3B berjalan andal pada sekitar 15 token per detik saat menggunakan baterai, berfungsi sebagai agen pemrograman yang terfokus untuk tugas-tugas tertentu.
- Arsitektur hibrida digunakan dengan pembagian 90% lokal dan 10% cloud, dengan biaya di bawah $1 agar GLM 5.2 menghasilkan rencana tugas terperinci yang akan dieksekusi oleh model lokal.
- Pengguna menggunakan pi-coding-agent dan llama-server (dari llama.cpp) untuk menjalankan inferensi lokal, meninjau semua perubahan kode yang dihasilkan oleh agen.
- Kesenjangan pengetahuan ditangani melalui post-mortem dengan model, menambahkan tips ke file README yang digunakan agen dalam sesi berikutnya untuk meningkatkan kualitas kode.
Pendekatan ini memungkinkan bantuan pemrograman yang berguna pada perangkat keras biasa dengan menggabungkan efisiensi biaya dari inferensi lokal dengan kemampuan penalaran dari model cloud yang lebih murah untuk perencanaan tingkat tinggi.