あるRedditユーザーが、20GBの7900XT eGPUと64GB DDR5 RAMを搭載したノートPCでQwen3.6 35B A3Bモデルをローカルで実行した経験を共有しています。

  • このモデルはローカルのpi-coding-agentタスクに使用されています。
  • Q8の100kコンテキストやud-q6klのフル262kコンテキストなど、高量子化に対応するためにCPUオフロード（MoE）を利用しています。
  • 推論速度は遅いとされていますが、20トークンを超える出力には実用的です。

ユーザーはこの特定のハードウェア構成に適した他のMixture of Experts (MoE)モデルの推奨を求めています。