github llama.cpp · 1 小时前 · inference

llama.cpp b10533 为不支持的 JSON 模式正则表达式模式添加优雅回退

译自 English → 中文

llama.cpp 项目发布了构建版本 b10533，其中包含一项修复，用于优雅地处理 JSON 模式中不受支持的正则表达式模式。

主要代码更改允许系统在遇到底层实现不支持的正则表达式模式时优雅地回退。
提供适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu x64、arm64、s390x，含 CPU、Vulkan、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14）、Android 和 openEuler 的二进制文件。
此版本禁用了 macOS Apple Silicon 的 KleidiAI 支持，以及 Ubuntu x64 ROCm 7.14 的支持。
分发包中还包含 iOS XCFramework 和独立的 UI 包。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10532 为 Flash Attention 添加 Metal KV 反量化支持

llama.cpp 项目发布了版本 b10532，在 Metal 后端引入了一个预处理阶段，在执行 Flash Attention 之前将量化的键值（KV）缓存反量化为 F16。

github llama.cpp · 8 小时前 · 2 次浏览

llama.cpp b10517 添加 Vulkan FA 反量化优化和修复

llama.cpp 项目发布了构建版本 b10517，在 flash attention (FA) 反量化路径中引入了几项针对 Vulkan 的改进。关键更改包括：在 coopmat1 中对 q8_0 KV 进行一次反量化、在 coopmat2 上跳过 FA 反量化路径，以及将 Intel Xe1 排除在 FA 反量化路径之外。

github llama.cpp · 19 小时前 · 1 次浏览

llama.cpp b10509 为 Metal、CUDA 和 Vulkan 添加 ggml_rope_set_offset 支持

llama.cpp 项目发布了构建版本 b10509，引入了对 `ggml_rope_set_offset` 函数在多个硬件后端的支持。此更新包括该新操作的 CPU、Metal、CUDA 和 Vulkan 实现。

github llama.cpp · 7 天前 · 18 次浏览

llama.cpp b10427 融合 SYCL FFN 操作，吞吐量提升高达 12.4%

llama.cpp 项目发布了版本 b10427，其中包括通过 SYCL 针对 Intel Arc GPU 的性能优化。该更新实现了在 q4_K 密集前馈网络 (FFN) 层内对 gate、up 和 GLU 操作的融合。

github llama.cpp · 7 天前 · 23 次浏览

llama.cpp b10413 新增从 GGUF 元数据自动检测草稿规范类型

llama.cpp 项目发布了版本 b10413，该版本引入了直接从草稿 GGUF 模型元数据中自动检测推测解码规范类型的功能。