저자는 32GB RAM과 8GB VRAM을 갖춘 NVIDIA RTX 4070이 탑재된 노트북이라는 저사양 하드웨어에서 로컬 대규모 언어 모델을 사용하는 실용적인 설정을 공유합니다. 핵심 전략은 Qwen3.6-35B-A3B 모델을 로컬에서 '소형 코딩 에이전트'로 실행하고 복잡한 계획 작업은 클라우드 기반 GLM 5.2 인스턴스로 오프로드하는 것입니다.

  • 로컬 Qwen3.6-35B-A3B 모델은 배터리 전원 상태에서 초당 약 15개의 토큰으로 신뢰성 있게 실행되며, 특정 작업을 위한 범위가 지정된 코딩 에이전트 역할을 합니다.
  • 90% 로컬과 10% 클라우드 분할을 가진 하이브리드 아키텍처가 사용되며, GLM 5.2가 로컬 모델이 실행할 상세 작업 계획을 생성하는 데 드는 비용은 $1 미만입니다.
  • 사용자는 pi-coding-agent와 llama-server(llama.cpp에서 제공)를 사용하여 로컬 추론을 실행하고, 에이전트가 생성한 모든 코드 변경 사항을 검토합니다.
  • 지식 격차는 모델과의 사후 분석을 통해 해소되며, 팁이 README 파일에 추가됩니다. 에이전트는 이후 세션에서 이를 활용하여 코드 품질을 향상시킵니다.

이 접근 방식은 로컬 추론의 비용 효율성과 상위 수준 계획을 위한 저렴한 클라우드 모델의 추론 능력을 결합함으로써 일반 하드웨어에서도 유용한 코딩 지원을 가능하게 합니다.