github llama.cpp · 刚刚 · inference

llama.cpp b11158 为 Adreno GPU 启用 KHR 协作矩阵支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b11158，其中包含通过 Vulkan 后端针对 Adreno GPU 特别调整的 KHR 协作矩阵支持。

此更新为运行 Linux 和 Android 的 Snapdragon 设备以及具有 Adreno 图形的 Windows arm64 系统提供了优化的 GPU 加速。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目已发布 0.5.0 版本，重点在于后端性能、更广泛的模型覆盖范围以及更稳健的服务器运行。此次更新引入了对 HRM-Text (DFM Mimir 1B) 和 MiMo-V2.6 等新架构的支持，并通过 CUDA 和 Metal 优化显著提升了计算效率。

llama.cpp 项目发布了版本 b11147，引入了一个用于 OpenCL 的新二进制内核。此更新专门添加了对 A8 Q6_K non-MoE dp4a 配置的支持。

llama.cpp 项目发布了 b11132 版本，引入了对 Gemma 4 DSpark 草稿主干的支持。此更新启用了全注意力和 SWA Gemma 4 草稿的 GGUF 转换及运行时功能，包括绑定的输出权重和布尔类型主干元数据。

llama.cpp 项目发布了版本 b11122，其中包括对 SYCL 后端的重大更新。该版本扩展了 MMVQ GLU 融合以支持混合量化类型，并为 rms_norm+scale 和 ssm_conv+silu 操作引入了新的融合。

llama.cpp 项目发布了 b11111 构建版本，为 Xe-LPG Plus、Xe2 和 Xe3 架构上的 split k 路径引入了基于 Vulkan 的 flash attention 优化内核。