L'auteur présente une configuration pratique pour utiliser des grands modèles de langage (LLM) locaux sur du matériel modeste, spécifiquement un ordinateur portable avec 32 Go de RAM et un NVIDIA RTX 4070 avec 8 Go de VRAM. La stratégie centrale consiste à exécuter le modèle Qwen3.6-35B-A3B localement en tant qu'« agent de codage léger » tout en déchargeant la planification complexe vers une instance GLM 5.2 basée sur le cloud.
- Le modèle local Qwen3.6-35B-A3B fonctionne de manière fiable à environ 15 tokens par seconde sur batterie, servant d'agent de codage ciblé pour des tâches spécifiques.
- Une architecture hybride est utilisée avec une répartition de 90 % local et 10 % cloud, coûtant moins de 1 $ pour que GLM 5.2 génère des plans de tâches détaillés que le modèle local exécutera.
- L'utilisateur utilise pi-coding-agent et llama-server (de llama.cpp) pour exécuter l'inférence locale, en examinant tous les changements de code produits par l'agent.
- Les lacunes de connaissances sont comblées par des analyses post-mortem avec le modèle, en ajoutant des conseils à un fichier README que l'agent utilise dans les sessions suivantes pour améliorer la qualité du code.
Cette approche permet une assistance au codage utile sur du matériel ordinaire en combinant l'efficacité économique de l'inférence locale avec les capacités de raisonnement d'un modèle cloud moins cher pour la planification de haut niveau.