github llama.cpp · 1 小时前 · inference

llama.cpp b10251 为 GLM-4.7-Flash 添加 MTP 支持

译自 English → 中文

llama.cpp 项目发布了 b10251 版本，引入了对 GLM-4.7-Flash 模型的多令牌预测 (MTP) 支持。

此版本包含适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x，支持 CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL 后端）、Android（arm64）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler（ACL Graph）的二进制文件。

此版本中禁用了 macOS Apple Silicon 的 KleidiAI 构建。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 19 小时前

llama.cpp b10238 为 Qwen3-Next 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10238，其中引入了对 Qwen3-Next 模型系列的 Multi-Token Prediction (MTP) 支持。此更新包括处理 MTP 层的具体实现更改，以及修复代码库中与 Python 类型检查相关的问题。

github llama.cpp · 20 小时前 · 5 次浏览

llama.cpp b10237 为 DeepSeek V3.2 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10237，该版本为 DeepSeek V3.2 模型引入了多令牌预测（MTP）支持。

github llama.cpp · 1 天前 · 7 次浏览

llama.cpp b10232 在 Metal 中实现 DeepSeek V4 超连接

llama.cpp 项目发布了构建版本 b10232，通过 Metal 后端引入了对 DeepSeek V4 超连接的支持。此更新添加了 GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE 和 GGML_OP_DSV4_HC_POST 操作的实现。

github llama.cpp · 2 天前 · 9 次浏览

llama.cpp b10219 在聊天历史中持久化 reasoning_content

llama.cpp 项目发布了 b10219 版本，其中包含一个 CLI 修复程序，用于在聊天历史中持久化推理内容。此前，虽然 `llama-cli` 从流中收集推理内容以供显示，但它仅在消息中存储助手内容，导致 `--reasoning-preserve` 标志无法在后续轮次中重新注入之前的思考。

github llama.cpp · 3 天前 · 8 次浏览

llama.cpp b10213 增加了对旋转 kv 缓存量化的支持

llama.cpp 项目发布了 b10213 版本，引入了对旋转键值缓存量化的支持。此更新适用于广泛的平台和硬件加速器。