あるユーザーが、UD-Q2_K_XLで量子化されたQwen3.5 122B A10BがシステムRAM 64GBに収まることを実証し、この制約条件下での以前の最良オプションを置き換えました。

  • このモデルは、UD-Q4_K_XLのQwen3 Next 80Bと比較して、より高品質な応答と優れた内部知識を実現しています。
  • DDR4 CPU上での生成速度は約2.9 tok/sに低下しますが、DDR5-5600を使用すれば6 tok/sまで向上する可能性があります。
  • アーキテクチャはMTPを通じて10Bのアクティブパラメータを使用しており、Qwen3 Next 80Bはわずか約3.5Bのアクティブパラメータしか使用しません。
  • モデルのREAPバリアントは劣っており、遅いプロンプト処理速度の問題を解決できませんでした。

この構成により、メモリが限られているユーザーでもより大規模なモデルの機能にアクセスできますが、低速なプロンプト処理のため、迅速な情報参照が必要なエージェントワークロードには適していません。