github llama.cpp · 19 小时前 · inference

llama.cpp b10970 发布版在 MFMA 设备上使用 fp32 累加

译自 English → 中文

llama.cpp 项目发布了版本 b10970，其中包含对 fattn-mma 后端的更新。此更改专门针对 CDNA 架构设备实现了 fp32 累加器的使用。

该发布版提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu x64/arm64/s390x）、Windows 和 Android 的二进制文件。
GPU 支持包括 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及受支持平台上的 OpenCL Adreno。
一项特定的修复通过在 fattn-mma 模块内的 MFMA 设备上使用 fp32 累加来解决精度问题。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了版本 b10984，引入了对行连续 SUM_ROWS 操作的 CUDA 支持。此更新还组织了代码以包含 GGML_OP_MEAN，通过共享内核处理行连续张量。

llama.cpp 项目发布了构建版本 b10985，修改了 RPC 后端，将基于哈希的缓存严格限制为权重张量。此更改解决了一个问题：激活数据被不必要地哈希和存储，导致磁盘使用量过大。

llama.cpp b10981 版本解决了 OpenVINO 后端状态解码路径中的关键正确性问题，特别修复了对使用每层头大小的模型（如 Gemma-4）的支持。它还引入了针对 GPU 混合专家 (MoE) 推理的优化，并通过 KV 状态重排提高了性能。

llama.cpp 项目已为 Apple Silicon 上 MiniCPM3 使用的特定配置添加了 Flash Attention (FA) 内核支持。此更改解决了因缺少注意力键长 96 和值长 64 的内核实例化而导致 `-fa auto` 标志中止的问题。

llama.cpp b10956 版本为 SYCL 后端引入了基数选择算法，以处理 TOP_K 操作中的大型 k 值，此前当 k > 32 时会回退到 CPU。此更改通过使用基于直方图的传递过程，使 GPU 驻留的大型 k 处理成为可能，并保持共享局部内存占用与 k 无关。