github llama.cpp · 刚刚 · inference

llama.cpp b10541 为多模态项目添加了 --mmproj-device 参数

译自 English → 中文

llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。

新参数由向后兼容的环境变量 `MTMD_BACKEND_DEVICE` 支持。
还提供了短标志 `-mmdev` 以便快速访问此功能。
该版本包含适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu x64、arm64、s390x，含 CPU、Vulkan、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14）、Android 和 openEuler 的二进制文件。
此版本还提供了更新的 UI 二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

阅读原文

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10532 为 Flash Attention 添加 Metal KV 反量化支持

llama.cpp 项目发布了版本 b10532，在 Metal 后端引入了一个预处理阶段，在执行 Flash Attention 之前将量化的键值（KV）缓存反量化为 F16。

github llama.cpp · 10 小时前 · 2 次浏览

llama.cpp b10517 添加 Vulkan FA 反量化优化和修复

llama.cpp 项目发布了构建版本 b10517，在 flash attention (FA) 反量化路径中引入了几项针对 Vulkan 的改进。关键更改包括：在 coopmat1 中对 q8_0 KV 进行一次反量化、在 coopmat2 上跳过 FA 反量化路径，以及将 Intel Xe1 排除在 FA 反量化路径之外。

github llama.cpp · 20 天前 · 35 次浏览

llama.cpp b10208 为 XMX 加速提示处理添加 oneMKL GEMM flash attention

llama.cpp b10208 版本引入了对 oneMKL GEMM flash attention 的 SYCL 支持，从而启用 XMX 硬件加速以处理提示。这一变更通过利用 MKL 内核而非默认的 TILE 路径，显著提升了 Intel Arc GPU 上的推理速度。

github llama.cpp · 29 天前 · 26 次浏览

llama.cpp b10089 为 CUDA GET_ROWS 添加完整的 k-quant 和 i-quant 支持

llama.cpp b10089 版本扩展了 CUDA GET_ROWS 操作，以支持 k-quants、i-quants 和 mxfp4 量化格式。此更改确保所有量化的 GGML 类型现在都可以采用直接设备路径进行嵌入查找。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10545 修复了 Metal matmul 中 K 不是 32 的倍数时的越界读取问题

llama.cpp 项目发布了构建版本 b10545，解决了 Metal 后端张量 API 矩阵乘法内核中的一个关键错误。该更新防止在处理 K 维度不是 32 的倍数的张量时出现未定义行为和损坏的结果。