github llama.cpp · 1 小时前 · inference

llama.cpp b10603 为 GLM-4.5-Air 添加 MTP 支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10603，引入了对 GLM-4.5-Air 模型的多令牌预测 (MTP) 支持。

通过 pull request #26534 为 GLM-4.5-Air 添加 MTP 功能。
提供适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、ROCm）和 openEuler 的二进制文件。

此版本使用户能够在广泛的硬件架构上以 MTP 模式运行 GLM-4.5-Air。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 1 天前 · 1 次浏览

ggml 通过用行级 memcpy 替换逐元素 memcpy 来优化连接操作

ggml 库通过用行级 memcpy 操作替换逐元素内存复制，优化了其连接操作。此更改是 llama.cpp b10578 版本的一部分，其中包括各种平台特定的二进制文件和底层计算图的更新。

github llama.cpp · 1 天前 · 3 次浏览

llama.cpp b10576 为 SYCL 添加 Q2_K 重排序 MMVQ 和 ESIMD 内核

llama.cpp 项目发布了构建版本 b10576，重新添加了用于 SYCL 支持的 Q2_K 重排序 MMVQ 和 ESIMD 内核。此更改有效地撤销了之前移除这些特定内核实现的提交。

github llama.cpp · 2 天前 · 2 次浏览

llama.cpp b10577 修复了与嵌入向量配合使用的 draft-mtp

llama.cpp 项目发布了构建版本 b10577，其中包含对使用嵌入向量时的 draft-mtp 的修复。此更新解决了问题 #26352 和 #27299。

github llama.cpp · 2 天前 · 5 次浏览

llama.cpp b10568 使用 ggml_rope_set_offset() 支持 DeepSeek 2

llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。

github llama.cpp · 2 天前 · 11 次浏览

llama.cpp v0.2.0 发布，包含 ggml 0.21.0 和 Kleidiai SME2 支持

llama.cpp 项目已发布 0.2.0 版本，其中 ggml 库同步升级至 0.21.0。此次更新引入了多项后端改进，并在各种硬件平台上增加了新功能。