用户展示了使用 UD-Q2_K_XL 量化的 Qwen3.5 122B A10B 可以放入 64GB 系统 RAM 中,取代了该限制条件下的先前最佳选项。
- 与 UD-Q4_K_XL 格式的 Qwen3 Next 80B 相比,该模型实现了更高质量的响应和更好的内部知识。
- 在 DDR4 CPU 上生成速度降至约 2.9 tok/s,尽管 DDR5-5600 可将其提升至 6 tok/s。
- 架构通过 MTP 使用 10B 激活参数,而 Qwen3 Next 80B 仅使用约 ~3.5B 激活参数。
- 发现该模型的 REAP 变体表现较差,且未能解决提示处理速度慢的问题。
这种配置允许内存有限的用户访问更大模型的能力,尽管缓慢的提示处理使其不适合需要快速信息检索的智能体工作负载。