github llama.cpp · 1 小时前 · inference

llama.cpp b10298 为 mtmd 模块添加了块保存/加载功能

译自 English → 中文

llama.cpp 项目发布了构建版本 b10298，其中为 mtmd 模块引入了新的块保存和加载功能。此更新还包括代码清理和额外的测试。

该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件，支持包括 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 和 HIP 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了版本 b10282，引入了用于推测解码的新监控功能。服务器现在在其 /metrics 端点中包含了 spec-decode 计数器，允许用户跟踪与此功能相关的性能指标。

llama.cpp 项目发布了构建版本 b10259，引入了在加载过程中重塑张量的能力。

llama.cpp 项目发布了 b10254 版本，为 DeepSeek V4 Flash 0731 模型引入了新的聊天模板，并对现有的 DeepSeek V4 模板进行了更新。

llama.cpp 项目发布了 b10251 版本，引入了对 GLM-4.7-Flash 模型的多令牌预测 (MTP) 支持。

llama.cpp 项目发布了构建版本 b10238，其中引入了对 Qwen3-Next 模型系列的 Multi-Token Prediction (MTP) 支持。此更新包括处理 MTP 层的具体实现更改，以及修复代码库中与 Python 类型检查相关的问题。