github llama.cpp · 1 天前 · inference

llama.cpp b10871 为 Vulkan 添加了专用的 iq4_xs mat-vec 着色器

译自 English → 中文

llama.cpp 项目发布了构建版本 b10871，为 Vulkan 中的 dmmv 路径引入了专用的 mul_mat_vec_iq4_xs 着色器。此更改替换了之前的通用回退实现，以改善 RDNA4 硬件上的性能。

根据使用的模型不同，新着色器可使令牌生成速度提高约 6-17%。
一个尝试对 n_it <= 8 完全展开块循环的实验性分支已被移除，因为它与代码中保留的简单循环在功能上是等效的。
二进制文件适用于 macOS、Linux、Windows、Android 和 openEuler，支持 CPU、CUDA、ROCm、OpenVINO、SYCL 和 Vulkan 后端。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10888 为 GPU 分析器添加 Vulkan 命令缓冲区调试标签

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10886 为 s390x 添加 Q1_0 向量内置支持

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

github llama.cpp · 17 小时前 · 1 次浏览

llama.cpp b10883 修复 Vulkan 矩阵乘法并恢复 Ampere 优化

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10870 为 Intel coopmat1 添加了 f16 B 类型矩阵乘法管道和 warp 瓦片调整

llama.cpp 项目发布了 b10870 版本，引入了针对 Intel coopmat1 硬件的 Vulkan 支持，用于 f16 B 类型矩阵乘法管道和 warp 瓦片大小调整。

github llama.cpp · 2 天前 · 1 次浏览

llama.cpp b10863 修复了 Metal 中 mul_mv_iq3_xxs 在小矩阵上的空闲线程问题

llama.cpp 项目发布了构建版本 b10863，其中包含对 `ne00` 小于 1024 时 Metal 上 `mul_mv_iq3_xxs` 内核中空闲线程的修复。该更新通过为特定矩阵维度引入单独的拆分内核，解决了半空闲 simdgroup 问题。