一位Reddit用户分享了在配备20GB 7900XT eGPU和64GB DDR5 RAM的笔记本电脑上本地运行Qwen3.6 35B A3B模型的经验。

  • 该模型用于本地pi-coding-agent任务。
  • 它利用CPU卸载(MoE)来适应高量化版本,例如100k上下文下的Q8或262k完整上下文下的ud-q6kl。
  • 推理速度被描述为较慢,但对于超过20个token的输出仍可使用。

该用户正在寻求针对此特定硬件配置的其他Mixture of Experts (MoE)模型的推荐。