github llama.cpp · 4 天前 · inference

llama.cpp b10827 修复了 OpenCL 对 q4_K 和 q5_K mul_mat 的权重包选择

译自 English → 中文

llama.cpp 项目发布了版本 b10827，其中包括一个修复程序，用于使用 OpenCL 正确选择 q4_K 和 q5_K 矩阵乘法操作的权重包。

该版本为 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu x64、arm64、s390x）、Windows（CPU、CUDA 12/13、Vulkan、ROCm、SYCL）、Android 和 iOS 提供了二进制文件。
Windows arm64 上提供 OpenCL Adreno 支持，而 KleidiAI 在 macOS Apple Silicon 上保持禁用状态。
更新还包括新的 UI 构建和用于验证的 attestation 链接。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

阅读原文

github llama.cpp · 3 天前 · 7 次浏览

llama.cpp b10840 为 CUDA 添加无分支 Q4_K/Q5_K 解包和 L2 预取

llama.cpp 项目发布了版本 b10840，引入了针对 CUDA 推理的性能优化。该更新实现了 Q4_K 和 Q5_K 量化格式的无分支计算，以加速矩阵-向量乘法 (mmvq)。

github llama.cpp · 7 天前 · 21 次浏览

llama.cpp b10791 添加 OpenCL 量化 lm_head 和解码 GEMV 优化

llama.cpp 项目发布了 b10791 版本，引入了针对量化语言模型头和解码 GEMV 操作的重大 OpenCL 优化。此更新还包括与推测性解码和多令牌预测相关的中等批次 GEMM 改进。

lab Hugging Face Blog · 9 天前 · 13 次浏览

Hugging Face 发布 207 个 WebGPU 内核及浏览器基准测试工具

Hugging Face 发布了 @huggingface/kernels，这是一个用于从 Hugging Face Hub 加载和运行优化后的 WebGPU 内核的库，并附带了首批 207 个内核。此次发布还引入了 Fleet，一个在浏览器中运行的 GPU 基准测试套件，它通过众包方式收集来自用户设备的性能和正确性证据。

github llama.cpp · 10 天前 · 19 次浏览

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 12 天前 · 19 次浏览

llama.cpp 在 Adreno GPU 上启用 xmem GEMM 并绕过分块 f32

llama.cpp 项目已更新其 OpenCL 后端，以改善两代 Adreno GPU 上的矩阵乘法性能。这些更改主要针对 X2E 代，默认启用 xmem F16xF32 GEMM 路径，并优化了 A7X 代的处理。