github llama.cpp · 3 小时前 · inference

llama.cpp b11043 允许使用 head_dim=72 的 HMX flash-attention

译自 English → 中文

llama.cpp 项目发布了构建版本 b11043，其中包含对 HMX flash-attention 实现的更改。此更新支持非 64 倍数的头维度，特别允许如 SigLIP 的 head_dim=72 配置。

HMX flash-attention 内核现在以 DK/DV 向上取整到 64 的方式运行，尾部通道填充为零。
预编译二进制文件适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL）、Windows（CPU、OpenCL、CUDA、Vulkan、OpenVINO、SYCL、ROCm）、Android 和 openEuler。

此更改允许用户在支持的硬件上运行具有非标准头维度的模型，而不会出现兼容性问题。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11046 为 flash_attn_f32_f16_bin 内核添加 OpenCL 支持

llama.cpp 项目发布了版本 b11046，其中引入了对 `flash_attn_f32_f16_bin` 内核的 OpenCL 支持。此更新还包括在 OpenCL 设备上为 Flash Attention 提供的受保护预填充功能。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b11044 更新 hexagon im2col 并发布二进制文件

llama.cpp 项目发布了版本 b11044，其中包括对 hexagon 后端的更新，以改进 image-to-column (im2col) 操作。该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了预构建的二进制文件，适用于 CPU、GPU 和其他硬件加速器。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b11045 为 Hexagon 后端添加 ROLL 操作支持

llama.cpp 项目发布了 b11045 版本，在 Hexagon 后端中引入了对 ROLL 操作的支持。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b11042 添加了 OpenCL A8 Q6_K 二进制内核

llama.cpp 项目发布了版本 b11042，引入了针对非 MoE 模型的 A8 Q6_K 新 OpenCL 二进制内核。此更新还包括修复 OpenCL 后端内的布局兼容性问题。

github llama.cpp · 9 小时前 · 1 次浏览

llama.cpp b11039 为模型保存器和加载器添加 SWA 模式支持

llama.cpp 项目发布了构建版本 b11039，该版本更新模型保存器以写入滑动窗口注意力（SWA）模式和所有使用 SWA 的模型的 MLA SWA 几何结构。此更改确保将 `sliding_window_pattern` 写为逐层标志，而不是折叠为标量，从而保留精确的数据表示。