github llama.cpp · 1 天前 · inference

llama.cpp b11025 扩展了 Nemotron MTP 支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b11025，其中包括对 Nemotron 多令牌预测 (MTP) 支持的扩展。

此次更新解决了该功能的首个修复，并移除了不必要的声明。
提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）和 openEuler 的二进制文件。
还提供独立 UI 构建版本供下载。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11046 为 flash_attn_f32_f16_bin 内核添加 OpenCL 支持

llama.cpp 项目发布了版本 b11046，其中引入了对 `flash_attn_f32_f16_bin` 内核的 OpenCL 支持。此更新还包括在 OpenCL 设备上为 Flash Attention 提供的受保护预填充功能。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b11042 添加了 OpenCL A8 Q6_K 二进制内核

llama.cpp 项目发布了版本 b11042，引入了针对非 MoE 模型的 A8 Q6_K 新 OpenCL 二进制内核。此更新还包括修复 OpenCL 后端内的布局兼容性问题。

github llama.cpp · 9 小时前 · 1 次浏览

llama.cpp b11039 为模型保存器和加载器添加 SWA 模式支持

llama.cpp 项目发布了构建版本 b11039，该版本更新模型保存器以写入滑动窗口注意力（SWA）模式和所有使用 SWA 的模型的 MLA SWA 几何结构。此更改确保将 `sliding_window_pattern` 写为逐层标志，而不是折叠为标量，从而保留精确的数据表示。

github llama.cpp · 1 天前 · 6 次浏览

llama.cpp b11024 将 OpenVINO 更新到 2026.4 并修复警告

llama.cpp 项目发布了构建版本 b11024，主要将 OpenVINO 集成更新到 2026.4 版本。

github llama.cpp · 2 天前 · 4 次浏览

llama.cpp b11019 修复了嵌入文件的 GGUF 数据对齐问题，并添加了 LoRA 加载功能

llama.cpp 项目发布了版本 b11019，解决了一个关键错误：在非对齐偏移量处嵌入的 GGUF 文件会返回错误的张量数据。此次更新将 GGUF 数据部分相对于文件起始位置进行对齐，而不是相对于偏移量 0，从而确保正确加载嵌入模型。