github llama.cpp · 1 小时前 · inference

llama.cpp b10447 重新设计了 yield_to_queue 线程模型

译自 English → 中文

llama.cpp 项目发布了构建版本 b10447，其中包括对 `yield_to_queue` 线程模型的重新设计。此更改涉及在 worker 中运行 `common_speculative_process` 并交换 worker 到主线程的设计。

该发布版为 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu 带 CPU、Vulkan、OpenVINO、SYCL 及禁用的 ROCm）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL 及 ROCm 7.14）和 openEuler（部分构建已禁用）提供了二进制文件。

此更新可在所有支持的平台上下载。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10444 添加 MTP 助手模型支持并移除 eagle3

llama.cpp 项目发布了 b10444 版本，通过 `--models-dir` 标志引入了对加载多令牌预测 (MTP) 助手模型的支持。此更新还包括对预设中 MTP 模型的严格前缀检查，并移除了对 eagle3 草稿类型的支持。

github llama.cpp · 6 小时前

llama.cpp b10442 为 Intel Xe 添加 Vulkan SHMEM_STRIDE_PAD 并修复越界读取

llama.cpp 项目发布了版本 b10442，引入了针对 Intel Xe 硬件的特定 Vulkan 优化，同时解决了矩阵乘法例程中的内存安全问题。

github llama.cpp · 1 天前 · 3 次浏览

llama.cpp b10434 将 reasoning_effort 传递给模板

llama.cpp 项目发布了构建版本 b10434，增加了对将 `reasoning_effort` 参数传递到 Jinja 模板的支持。此更改确保 OpenAI Chat Completions 的 `reasoning_effort` 值在生成期间被存储并可访问。

github llama.cpp · 2 天前

llama.cpp b10418 增加对 SYCL 主机固定内存的支持

llama.cpp 项目发布了 b10418 版本，引入了对主机固定内存的支持，以改善 SYCL 主机到设备的内存访问。此更新解决了后端实现中的线程安全问题。

github llama.cpp · 2 天前 · 4 次浏览

llama.cpp OpenVINO 后端新增 Qwen3.5 支持及内存优化

llama.cpp 项目已将其 OpenVINO 后端的重大更新合并，主要启用了针对 Qwen3.5 模型系列的支持，并引入了多项内存优化技术。