github llama.cpp · 2 天前 · inference

llama.cpp b10852 为 Hexagon 添加了 RELU 和 LEAKY_RELU 操作

译自 English → 中文

llama.cpp 项目发布了版本 b10852，在 Hexagon 后端引入了对 RELU 和 LEAKY_RELU 操作的支持。

向 hexagon 实现中添加了 RELU 操作。
向 hexagon 实现中添加了 LEAKY_RELU 操作。
提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu，含 CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）和 openEuler 的二进制文件。

此更新使用户能够在兼容 Hexagon 的硬件上运行利用这些激活函数的模型。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10888 为 GPU 分析器添加 Vulkan 命令缓冲区调试标签

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

github llama.cpp · 4 小时前 · 1 次浏览

llama.cpp b10886 为 s390x 添加 Q1_0 向量内置支持

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

github llama.cpp · 18 小时前 · 1 次浏览

llama.cpp b10883 修复 Vulkan 矩阵乘法并恢复 Ampere 优化

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10870 为 Intel coopmat1 添加了 f16 B 类型矩阵乘法管道和 warp 瓦片调整

llama.cpp 项目发布了 b10870 版本，引入了针对 Intel coopmat1 硬件的 Vulkan 支持，用于 f16 B 类型矩阵乘法管道和 warp 瓦片大小调整。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10871 为 Vulkan 添加了专用的 iq4_xs mat-vec 着色器

llama.cpp 项目发布了构建版本 b10871，为 Vulkan 中的 dmmv 路径引入了专用的 mul_mat_vec_iq4_xs 着色器。此更改替换了之前的通用回退实现，以改善 RDNA4 硬件上的性能。