一名用户成功在配备128GB统一内存的MacBook M5 Max上运行了腾讯的295B-A21B MoE模型HY3，使用的是量化GGUF检查点和llama.cpp。该设置实现的令牌生成速度约为DeepSeek v4 Flash的两倍，同时保持了相当或更好的输出质量。

  • 该模型使用来自Hugging Face用户YanissAmz的UD128 "unsloth dynamic" 3位量化（107GB）。
  • 通过PR #25395向llama.cpp添加了对HY3架构和推测解码的支持。
  • 在M5 Max上的基准测试显示，空上下文下的解码速度为32.4 tok/s，16K上下文下为16.3 tok/s。
  • 用户指出，在正常提示和基本工具使用方面的实际性能优于其之前的DeepSeek v4设置。

作者强调HY3是本地部署到高内存消费级硬件上的一个有前景的大型MoE选项，鼓励其他人测试它。