著者は、32GB RAMと8GB VRAMのNVIDIA RTX 4070を搭載したノートパソコンという控えめなハードウェアでローカル大規模言語モデルを使用するための実用的なセットアップを共有しています。中核となる戦略は、Qwen3.6-35B-A3Bモデルをローカルで「小さなコーディングエージェント」として実行し、複雑な計画処理をクラウドベースのGLM 5.2インスタンスにオフロードすることです。

  • ローカルのQwen3.6-35B-A3Bモデルは、バッテリー駆動下で約15トークン/秒の速度で信頼性高く動作し、特定のタスクのためのスコープ限定のコーディングエージェントとして機能します。
  • 90%ローカルと10%クラウドの分割比率を持つハイブリッドアーキテクチャが使用されており、GLM 5.2に詳細なタスク計画を生成させてローカルモデルが実行させるコストは1ドル未満です。
  • ユーザーはpi-coding-agentおよびllama-server（llama.cpp由来）を使用してローカル推論を実行し、エージェントによって生成されたすべてのコード変更を確認します。
  • 知識のギャップはモデルとの事後レビューを通じて埋められ、READMEファイルにヒントが追加されます。エージェントは後のセッションでこれを利用し、コード品質を向上させます。

このアプローチにより、ローカル推論のコスト効率性と、高レベルな計画のためのより安価なクラウドモデルの推論能力を組み合わせることで、一般的なハードウェアでも有用なコーディング支援が可能になります。