github llama.cpp · 1 小时前 · inference

llama.cpp b10538 发布，支持针对大批量的去量化 KV 缓存

译自 English → 中文

llama.cpp 项目发布了版本 b10538，在 metal 后端引入了关键优化。此更新仅针对大批量大小启用键值 (KV) 缓存的去量化。

主要更改在于 metal 后端，现在仅在处理大批量时应用去量化的 KV 缓存。
提供适用于 macOS (Apple Silicon 和 Intel)、iOS、Linux (CPU、Vulkan、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm) 和 openEuler 的二进制文件。
此版本禁用了 macOS Apple Silicon 上的 KleidiAI 支持和 Ubuntu 上的 ROCm 7.14。

此优化旨在提高兼容硬件上涉及大批量大小的工作负载的内存效率或性能。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 刚刚实时

llama.cpp b10541 为多模态项目添加了 --mmproj-device 参数

llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10545 修复了 Metal matmul 中 K 不是 32 的倍数时的越界读取问题

llama.cpp 项目发布了构建版本 b10545，解决了 Metal 后端张量 API 矩阵乘法内核中的一个关键错误。该更新防止在处理 K 维度不是 32 的倍数的张量时出现未定义行为和损坏的结果。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10532 为 Flash Attention 添加 Metal KV 反量化支持

llama.cpp 项目发布了版本 b10532，在 Metal 后端引入了一个预处理阶段，在执行 Flash Attention 之前将量化的键值（KV）缓存反量化为 F16。

github llama.cpp · 6 小时前 · 1 次浏览

llama.cpp b10519重构睡眠处理以允许访问指标

llama.cpp项目发布了b10519版本，其中包括对服务器睡眠处理机制的重大重构。此更改允许在服务器处于睡眠状态时保持/metrics端点可访问。

github llama.cpp · 9 小时前 · 2 次浏览

llama.cpp b10517 添加 Vulkan FA 反量化优化和修复

llama.cpp 项目发布了构建版本 b10517，在 flash attention (FA) 反量化路径中引入了几项针对 Vulkan 的改进。关键更改包括：在 coopmat1 中对 q8_0 KV 进行一次反量化、在 coopmat2 上跳过 FA 反量化路径，以及将 Intel Xe1 排除在 FA 反量化路径之外。