向 ggml-org/llama.cpp 仓库提交的拉取请求引入了对腾讯 Hy3 模型的支持,特别是 hy_v3 变体。此更新启用将模型的 multi-token-prediction head 用作 draft-mtp 推测目标。
- 添加对腾讯 Hy3 (hy_v3 / HYV3ForCausalLM) 的支持,这是一个拥有 80 个层加一个 MTP 层的 299B MoE 模型。
- 实现 multi-token-prediction head 以在 llama.cpp 内作为 draft-mtp 推测解码的目标。