github llama.cpp · 2 天前 · inference

llama.cpp b11017 在 mul_mm coopmat1 路径中跳过不必要的 MoE 工作

译自 English → 中文

llama.cpp 项目发布了构建版本 b11017，其中包含一项 Vulkan 优化，用于在 mul_mm coopmat1 路径中跳过不必要的 Mixture of Experts (MoE) 工作。

此更新为 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）、Android 和 openEuler 提供了预构建的二进制文件。

该版本还包含了 llama.cpp 的用户界面。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11046 为 flash_attn_f32_f16_bin 内核添加 OpenCL 支持

llama.cpp 项目发布了版本 b11046，其中引入了对 `flash_attn_f32_f16_bin` 内核的 OpenCL 支持。此更新还包括在 OpenCL 设备上为 Flash Attention 提供的受保护预填充功能。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b11044 更新 hexagon im2col 并发布二进制文件

llama.cpp 项目发布了版本 b11044，其中包括对 hexagon 后端的更新，以改进 image-to-column (im2col) 操作。该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了预构建的二进制文件，适用于 CPU、GPU 和其他硬件加速器。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b11045 为 Hexagon 后端添加 ROLL 操作支持

llama.cpp 项目发布了 b11045 版本，在 Hexagon 后端中引入了对 ROLL 操作的支持。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b11043 允许使用 head_dim=72 的 HMX flash-attention

llama.cpp 项目发布了构建版本 b11043，其中包含对 HMX flash-attention 实现的更改。此更新支持非 64 倍数的头维度，特别允许如 SigLIP 的 head_dim=72 配置。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b11042 添加了 OpenCL A8 Q6_K 二进制内核

llama.cpp 项目发布了版本 b11042，引入了针对非 MoE 模型的 A8 Q6_K 新 OpenCL 二进制内核。此更新还包括修复 OpenCL 后端内的布局兼容性问题。