一个拉取请求已合并到 llama.cpp 中，以支持新发布的 Hy3 模型，使用户能够使用 GGUF 格式运行它。

  • 该实现可在 ggml-org/llama.cpp 仓库的 PR #25395 中找到。
  • 早期测试表明，在配备 Zen 4 架构和 96GB DDR5 的 RTX 5090 上，Q2_K 量化模型以每秒约 10-11 个 token 的速度运行，输出连贯。
  • Hy3 的 GGUF 检查点可通过 satgeze 维护的 Hugging Face 仓库获取。

此更新允许用户使用 llama.cpp 的推理引擎在本地运行 Hy3 模型。