llama.cpp 项目已添加对腾讯混元 3 (HYV3ForCausalLM) 模型架构的支持,在 GGUF 格式中指定为 hy_v3。此更新使用户能够在库内运行此特定的 MoE 解码器堆栈。
- 添加了完整的 hy_v3 架构支持,包括 per-head Q/K RMSNorm 和带有专家选择偏置的 sigmoid 路由器。
- 通过 first_k_dense_replace 实现了始终激活的非门控共享专家和领先的密集块。
- 源自 charlie12345 的分支并适配到当前主线 API,以兼容现有的 hy_v3 GGUF 文件。
此更改使社区能够在各种平台上使用腾讯混元 3 模型,包括 macOS、Linux、Windows 和 Android,并在 CUDA、ROCm 和 Vulkan 等不同的硬件后端上运行。