लेखक विनम्र हार्डवेयर पर स्थानीय बड़े भाषा मॉडल (LLM) का उपयोग करने के लिए एक व्यावहारिक सेटअप साझा करता है, विशेष रूप से 32GB RAM और 8GB VRAM वाली NVIDIA RTX 4070 वाले लैपटॉप पर। मुख्य रणनीति Qwen3.6-35B-A3B मॉडल को स्थानीय रूप से एक 'छोटे कोडिंग एजेंट' के रूप में चलाने और जटिल योजनाओं को क्लाउड-आधारित GLM 5.2 इंस्टेंस पर ओवरलोड करने की है।
- स्थानीय Qwen3.6-35B-A3B मॉडल बैटरी पावर पर लगभग प्रति सेकंड 15 टोकन की गति पर विश्वसनीय रूप से चलता है, जो विशिष्ट कार्यों के लिए एक सीमित कोडिंग एजेंट के रूप में कार्य करता है।
- 90% स्थानीय और 10% क्लाउड विभाजन के साथ एक हाइब्रिड आर्किटेक्चर का उपयोग किया जाता है, जिसमें GLM 5.2 को स्थानीय मॉडल द्वारा निष्पादित करने के लिए विस्तृत कार्य योजनाएं उत्पन्न करने में $1 से कम खर्च आता है।
- उपयोगकर्ता स्थानीय इनफरेंस चलाने के लिए pi-coding-agent और llama-server (llama.cpp से) का उपयोग करता है, जो एजेंट द्वारा उत्पादित सभी कोड परिवर्तनों की समीक्षा करता है।
- मॉडल के साथ पोस्ट-मॉर्टम के माध्यम से ज्ञान की कमी को दूर किया जाता है, एक README फ़ाइल में टिप्स जोड़े जाते हैं जिसे एजेंट बाद की सत्रों में कोड गुणवत्ता को बेहतर बनाने के लिए उपयोग करता है।
यह दृष्टिकोण स्थानीय इनफरेंस की लागत-कुशलता और उच्च-स्तरीय योजना के लिए एक सस्ते क्लाउड मॉडल की तर्कशक्ति क्षमताओं को जोड़कर साधारण हार्डवेयर पर उपयोगी कोडिंग सहायता प्रदान करता है।