作者分享了一种在普通硬件上使用本地大语言模型的实用设置，具体为一台配备 32GB RAM 和拥有 8GB VRAM 的 NVIDIA RTX 4070 显卡的笔记本电脑。核心策略是在本地运行 Qwen3.6-35B-A3B 模型作为“小型编码代理”，同时将复杂的规划任务卸载到基于云的 GLM 5.2 实例。

  • 在电池供电下，本地 Qwen3.6-35B-A3B 模型以每秒约 15 个 token 的速度可靠运行，作为针对特定任务的限定范围编码代理。
  • 采用混合架构，本地与云端比例为 90% 对 10%，成本低于 1 美元即可让 GLM 5.2 生成详细任务计划供本地模型执行。
  • 用户利用 pi-coding-agent 和 llama-server（来自 llama.cpp）运行本地推理，并审查代理生成的所有代码更改。
  • 通过事后复盘填补知识空白，将提示添加到 README 文件中，代理在后续会话中利用这些提示以提升代码质量。

这种方法通过将本地推理的成本效率与用于高层规划的更廉价云模型的推理能力相结合，使得在普通硬件上获得有用的编码辅助成为可能。