github llama.cpp · 1 小时前 · inference

llama.cpp b10254 添加 DeepSeek V4 Flash 0731 模板并更新 V4 模板

译自 English → 中文

llama.cpp 项目发布了 b10254 版本，为 DeepSeek V4 Flash 0731 模型引入了新的聊天模板，并对现有的 DeepSeek V4 模板进行了更新。

将 DeepSeek V4 模板与官方编码器对齐，同时排除解析器行为的变化。
除非请求 preserve_reasoning 或存在工具，否则默认丢弃 DeepSeek V4 的思考历史。
添加结构化输出的响应格式指令，并将模式传入模板渲染过程。
引入单独的 Flash 0731 模板以处理更新后的高推理和最大推理努力映射。
包含修复 DSML 解析器工具调用分隔符消耗以及 deepseek v4 0731 模板选择的问题。

此更新确保与最新的 DeepSeek 模型规范兼容，并改进了结构化输出处理。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 4 小时前

llama.cpp b10251 为 GLM-4.7-Flash 添加 MTP 支持

llama.cpp 项目发布了 b10251 版本，引入了对 GLM-4.7-Flash 模型的多令牌预测 (MTP) 支持。

github llama.cpp · 22 小时前

llama.cpp b10238 为 Qwen3-Next 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10238，其中引入了对 Qwen3-Next 模型系列的 Multi-Token Prediction (MTP) 支持。此更新包括处理 MTP 层的具体实现更改，以及修复代码库中与 Python 类型检查相关的问题。

github llama.cpp · 23 小时前 · 5 次浏览

llama.cpp b10237 为 DeepSeek V3.2 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10237，该版本为 DeepSeek V3.2 模型引入了多令牌预测（MTP）支持。

github llama.cpp · 2 天前 · 7 次浏览

llama.cpp b10232 在 Metal 中实现 DeepSeek V4 超连接

llama.cpp 项目发布了构建版本 b10232，通过 Metal 后端引入了对 DeepSeek V4 超连接的支持。此更新添加了 GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE 和 GGML_OP_DSV4_HC_POST 操作的实现。

github llama.cpp · 3 天前 · 9 次浏览

llama.cpp b10219 在聊天历史中持久化 reasoning_content

llama.cpp 项目发布了 b10219 版本，其中包含一个 CLI 修复程序，用于在聊天历史中持久化推理内容。此前，虽然 `llama-cli` 从流中收集推理内容以供显示，但它仅在消息中存储助手内容，导致 `--reasoning-preserve` 标志无法在后续轮次中重新注入之前的思考。