github llama.cpp · 1 小时前 · inference

llama.cpp b10444 添加 MTP 助手模型支持并移除 eagle3

译自 English → 中文

llama.cpp 项目发布了 b10444 版本，通过 `--models-dir` 标志引入了对加载多令牌预测 (MTP) 助手模型的支持。此更新还包括对预设中 MTP 模型的严格前缀检查，并移除了对 eagle3 草稿类型的支持。

common: 支持通过 --models-dir 加载 MTP 助手模型
common: preset: 使用严格前缀检查 MTP 模型
处理其他草稿类型
移除 eagle3

该版本为 macOS (Apple Silicon 和 Intel)、Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL)、Android、Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) 和 openEuler 提供了二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 4 小时前

llama.cpp b10442 为 Intel Xe 添加 Vulkan SHMEM_STRIDE_PAD 并修复越界读取

llama.cpp 项目发布了版本 b10442，引入了针对 Intel Xe 硬件的特定 Vulkan 优化，同时解决了矩阵乘法例程中的内存安全问题。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10434 将 reasoning_effort 传递给模板

llama.cpp 项目发布了构建版本 b10434，增加了对将 `reasoning_effort` 参数传递到 Jinja 模板的支持。此更改确保 OpenAI Chat Completions 的 `reasoning_effort` 值在生成期间被存储并可访问。

github llama.cpp · 2 天前

llama.cpp b10418 增加对 SYCL 主机固定内存的支持

llama.cpp 项目发布了 b10418 版本，引入了对主机固定内存的支持，以改善 SYCL 主机到设备的内存访问。此更新解决了后端实现中的线程安全问题。

github llama.cpp · 2 天前 · 4 次浏览

llama.cpp OpenVINO 后端新增 Qwen3.5 支持及内存优化

llama.cpp 项目已将其 OpenVINO 后端的重大更新合并，主要启用了针对 Qwen3.5 模型系列的支持，并引入了多项内存优化技术。

github llama.cpp · 2 天前 · 2 次浏览

llama.cpp b10414 添加 TQ2_0 支持并优化 mul_mv 内核

llama.cpp 项目发布了构建版本 b10414，在 Metal 后端引入了对 GGML_TYPE_TQ2_0 三元量化的支持。此更新还包括对连续张量 (cont) mul_mv 内核的优化。