github llama.cpp · 2 天前 · inference

llama.cpp b10937 将 noshuffle 行对齐规则应用于 q4_K、q5_K 和 q8_0

译自 English → 中文

llama.cpp 项目发布了版本 b10937，将 OpenCL noshuffle 行对齐规则扩展至 q4_K、q5_K 和 q8_0 量化格式。此前，该对齐规则仅应用于 q6_K。

此更改解决了特定量化类型的 OpenCL 兼容性问题。
提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm）以及 openEuler 的二进制文件。
此次发布还包含了 iOS XCFramework 和 UI 构建版本。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了版本 b10984，引入了对行连续 SUM_ROWS 操作的 CUDA 支持。此更新还组织了代码以包含 GGML_OP_MEAN，通过共享内核处理行连续张量。

llama.cpp 项目发布了构建版本 b10985，修改了 RPC 后端，将基于哈希的缓存严格限制为权重张量。此更改解决了一个问题：激活数据被不必要地哈希和存储，导致磁盘使用量过大。

llama.cpp b10981 版本解决了 OpenVINO 后端状态解码路径中的关键正确性问题，特别修复了对使用每层头大小的模型（如 Gemma-4）的支持。它还引入了针对 GPU 混合专家 (MoE) 推理的优化，并通过 KV 状态重排提高了性能。

llama.cpp 项目已为 Apple Silicon 上 MiniCPM3 使用的特定配置添加了 Flash Attention (FA) 内核支持。此更改解决了因缺少注意力键长 96 和值长 64 的内核实例化而导致 `-fa auto` 标志中止的问题。

llama.cpp 项目发布了版本 b10970，其中包含对 fattn-mma 后端的更新。此更改专门针对 CDNA 架构设备实现了 fp32 累加器的使用。