한 레딧 사용자가 20GB 7900XT eGPU와 64GB DDR5 RAM이 탑재된 노트북에서 Qwen3.6 35B A3B 모델을 로컬로 실행한 경험을 공유했습니다.

  • 이 모델은 로컬 pi-coding-agent 작업에 사용됩니다.
  • Q8의 100k 컨텍스트나 ud-q6kl의 전체 262k 컨텍스트와 같은 높은 양자화를 수용하기 위해 CPU 오프로드(MoE)를 활용합니다.
  • 추론 속도는 느리지만 20 토큰 이상의 출력을 위해 사용 가능합니다.

사용자는 이 특정 하드웨어 구성에 적합한 다른 Mixture of Experts (MoE) 모델에 대한 추천을 구하고 있습니다.