github llama.cpp · 3 小时前 · inference

llama.cpp b10886 为 s390x 添加 Q1_0 向量内置支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

此版本为 macOS、Linux（包括 Ubuntu x64、arm64 和 s390x）、Android、Windows 和 openEuler 提供了二进制文件，适用于 CPU、Vulkan、ROCm、OpenVINO、SYCL 和 CUDA 等各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。

llama.cpp 项目发布了 b10870 版本，引入了针对 Intel coopmat1 硬件的 Vulkan 支持，用于 f16 B 类型矩阵乘法管道和 warp 瓦片大小调整。

llama.cpp 项目发布了构建版本 b10871，为 Vulkan 中的 dmmv 路径引入了专用的 mul_mat_vec_iq4_xs 着色器。此更改替换了之前的通用回退实现，以改善 RDNA4 硬件上的性能。

llama.cpp 项目发布了构建版本 b10863，其中包含对 `ne00` 小于 1024 时 Metal 上 `mul_mv_iq3_xxs` 内核中空闲线程的修复。该更新通过为特定矩阵维度引入单独的拆分内核，解决了半空闲 simdgroup 问题。