github llama.cpp · 2 小时前 · inference

llama.cpp b10888 为 GPU 分析器添加 Vulkan 命令缓冲区调试标签

译自 English → 中文

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

该更新引入了命令缓冲区调试标签，以辅助 GPU 分析。
预编译二进制文件适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL）、Android 和 iOS。

此版本在多个平台上提供了更新的二进制文件，同时为 Vulkan 用户添加了特定的调试功能。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。

llama.cpp 项目发布了 b10870 版本，引入了针对 Intel coopmat1 硬件的 Vulkan 支持，用于 f16 B 类型矩阵乘法管道和 warp 瓦片大小调整。

llama.cpp 项目发布了构建版本 b10871，为 Vulkan 中的 dmmv 路径引入了专用的 mul_mat_vec_iq4_xs 着色器。此更改替换了之前的通用回退实现，以改善 RDNA4 硬件上的性能。

llama.cpp 项目发布了构建版本 b10863，其中包含对 `ne00` 小于 1024 时 Metal 上 `mul_mv_iq3_xxs` 内核中空闲线程的修复。该更新通过为特定矩阵维度引入单独的拆分内核，解决了半空闲 simdgroup 问题。