github llama.cpp · 1 小时前 · inference

llama.cpp b11333 为 MUL_MAT 操作添加 WebGPU bfloat16 支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b11333，在其 WebGPU 后端中引入了对 MUL_MAT、MUL_MAT_ID 和 GET_ROWS 操作的 bfloat16 支持。

此更新包含在 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Windows、Android 和 openEuler 的预编译二进制文件中。该版本为各种硬件加速器提供了构建，包括 CUDA 12 和 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 和 Snapdragon NPUs。

在这些特定的 WebGPU 矩阵操作中添加 bfloat16 精度允许在兼容的 GPU 上进行更高效的计算。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11335 将 sm70 路由至 Turing MMVQ 表以优化 Volta 性能

llama.cpp 项目发布了版本 b11335，其中包含针对 Volta GPU 的 CUDA 优化。该更新将 sm_70 架构路由到现有的 Turing MMVQ nwarps 表，而不是回退到通用配置。

github llama.cpp · 23 小时前 · 5 次浏览

llama.cpp b11309 使用安全散列模式优化 Hexagon ALLREDUCE

llama.cpp 项目发布了版本 b11309，其中包含针对 Hexagon 后端的关键优化。此更新为 ALLREDUCE 操作添加了对安全 scatter 模式的支持，旨在提高 Qualcomm Snapdragon 设备上的性能和稳定性。

github llama.cpp · 2 天前 · 9 次浏览

llama.cpp 添加对 GLM-5.3-Flash 的支持，包含 k-pool 和 MTP 修复

llama.cpp 项目已添加对 GLM-5.3-Flash (GLM5-Next) 模型架构的初步支持，包括迁移到混合索引内存以及早期的多令牌预测 (MTP) 功能。

github llama.cpp · 2 天前 · 5 次浏览

llama.cpp b11266 在 Intel 上为 Vulkan 每次加载两个 F32 A 矩阵

llama.cpp 项目发布了构建版本 b11266，其中包含一项 Vulkan 优化：当数据满足 2 字节对齐时，每次加载两个元素的 F32 A 矩阵。此更改解决了 Intel 硬件上逐个加载浮点数效率低下的性能问题，并修正了原始补丁中缺失的 `a_offset` 对齐验证。

github llama.cpp · 2 天前 · 2 次浏览

llama.cpp b11265 修复 Vulkan MOE matmul 图块选择

llama.cpp b11265 版本包含对 Vulkan 后端处理混合专家（MoE）模型的修复。该更新修正了 `mat_mul_id` 选择矩阵乘法图块的方式，解决了在分发期间工作线程空闲的性能问题。