O autor compartilha uma configuração prática para usar grandes modelos de linguagem locais em hardware modesto, especificamente um laptop com 32GB de RAM e uma NVIDIA RTX 4070 com 8GB de VRAM. A estratégia central envolve executar o modelo Qwen3.6-35B-A3B localmente como um 'agente de codificação pequeno', enquanto descarrega o planejamento complexo para uma instância GLM 5.2 baseada na nuvem.
- O modelo local Qwen3.6-35B-A3B executa de forma confiável a aproximadamente 15 tokens por segundo com energia da bateria, atuando como um agente de codificação com escopo definido para tarefas específicas.
- Uma arquitetura híbrida é usada com uma divisão de 90% local e 10% na nuvem, custando menos de $1 para que o GLM 5.2 gere planos de tarefa detalhados para o modelo local executar.
- O usuário emprega pi-coding-agent e llama-server (do llama.cpp) para executar a inferência local, revisando todas as alterações de código produzidas pelo agente.
- Lacunas de conhecimento são abordadas por meio de análises pós-evento com o modelo, adicionando dicas a um arquivo README que o agente utiliza em sessões subsequentes para melhorar a qualidade do código.
Essa abordagem permite assistência útil de codificação em hardware comum ao combinar a eficiência de custos da inferência local com as capacidades de raciocínio de um modelo de nuvem mais barato para planejamento de alto nível.