github llama.cpp · 1 天前 · inference

llama.cpp b10952 修复 oneDNN scratchpad 池释放顺序

译自 English → 中文

llama.cpp 项目发布了构建版本 b10952，其中包含对 SYCL 后端的修复，以解决 oneDNN scratchpad 破坏池释放顺序的问题。

此更新提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu x64、arm64、s390x、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）、Android arm64 和 openEuler 的预构建二进制文件。

该版本还包含 llama.cpp UI 以及用于验证的证明。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10984 添加对 CUDA 行连续 SUM_ROWS 的支持

llama.cpp 项目发布了版本 b10984，引入了对行连续 SUM_ROWS 操作的 CUDA 支持。此更新还组织了代码以包含 GGML_OP_MEAN，通过共享内核处理行连续张量。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10985 将 RPC 哈希缓存限制为权重

llama.cpp 项目发布了构建版本 b10985，修改了 RPC 后端，将基于哈希的缓存严格限制为权重张量。此更改解决了一个问题：激活数据被不必要地哈希和存储，导致磁盘使用量过大。

github llama.cpp · 3 小时前 · 4 次浏览

llama.cpp b10982 为 DSV4/GLM 添加 Vulkan 稀疏 Flash Attention 支持

llama.cpp 项目发布了构建版本 b10982，引入了通过 Vulkan 后端对稀疏 Flash Attention 的支持。此更新专门针对 DSV4 和 GLM 模型，使它们能够在兼容的 GPU 硬件上利用稀疏注意力机制。

github llama.cpp · 4 小时前 · 2 次浏览

llama.cpp b10981 修复了 Gemma-4 的状态解码并优化了 GPU MoE 推理

llama.cpp b10981 版本解决了 OpenVINO 后端状态解码路径中的关键正确性问题，特别修复了对使用每层头大小的模型（如 Gemma-4）的支持。它还引入了针对 GPU 混合专家 (MoE) 推理的优化，并通过 KV 状态重排提高了性能。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp 为 MiniCPM3 的 HSK=96、HSV=64 添加 Metal FA 内核

llama.cpp 项目已为 Apple Silicon 上 MiniCPM3 使用的特定配置添加了 Flash Attention (FA) 内核支持。此更改解决了因缺少注意力键长 96 和值长 64 的内核实例化而导致 `-fa auto` 标志中止的问题。