github llama.cpp · 刚刚 · inference

llama.cpp b10734 在 M5+/A19+ 上启用 Metal 4.0 tensor API

译自 English → 中文

llama.cpp 项目发布了版本 b10734，其中包括一项更新，旨在为搭载 M5+ 或 A19+ 芯片的设备启用 Metal 4.0 tensor API。

请求 tensor API 的 Metal 4.0 语言版本。
从单独的 metallib 加载 tensor API 内核。
修复了 tensor API 内核的 metallib 构建顺序。
添加了 external-metallib tensor API 回归测试。

此版本为 macOS、iOS、Linux、Windows、Android 和 openEuler 提供了二进制文件，支持包括 CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL 和 OpenCL 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

media r/LocalLLaMA · 5 小时前 · 1 次浏览

ExLlamaV3 为 MoE 专家添加 CPU 卸载功能，并支持新的 GLM-5.3-Flash、Qwen3.8-Flash 模型

Turboderp 发布了 ExLlamaV3 的重大更新，引入了针对混合专家（MoE）专家的 CPU 卸载功能。此次更新还包括对新发布的 GLM-5.3-Flash 和 Qwen3.8-Flash 模型的支持。

github llama.cpp · 18 小时前 · 2 次浏览

llama.cpp b10724 优化 kv-cache 状态恢复，将复制次数从 1.3M 减少到 224

llama.cpp 项目发布了构建版本 b10724，通过按连续运行批次化 scatter 读取，显著提高了恢复非连续 KV 缓存单元的性能。

github llama.cpp · 20 小时前 · 3 次浏览

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 22 小时前 · 9 次浏览

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 1 天前 · 4 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。