github llama.cpp · 1 小时前 · inference

llama.cpp b11006 为 K-Quants Q4_K 和 Q6_K 添加 Hexagon 支持

译自 English → 中文

llama.cpp 项目发布了版本 b11006，引入了对 Qualcomm Hexagon 处理器的支持以处理 K-Quantization 格式。此更新在 Hexagon 架构上实现了针对 Q4_K 和 Q6_K 量化级别的具体内核。

为 Hexagon DSP 实现 q6k 和 q4k 内核。
改进了 hex-q6k 内核的解包精度。
添加了对 Hexagon 硬件上 Q4_K 内核的支持。

该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了预构建的二进制文件，涵盖包括 CUDA、ROCm、Vulkan 和 OpenVINO 在内的各种 CPU 和 GPU 后端。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

阅读原文

github llama.cpp · 1 天前 · 5 次浏览

llama.cpp b10981 修复了 Gemma-4 的状态解码并优化了 GPU MoE 推理

llama.cpp b10981 版本解决了 OpenVINO 后端状态解码路径中的关键正确性问题，特别修复了对使用每层头大小的模型（如 Gemma-4）的支持。它还引入了针对 GPU 混合专家 (MoE) 推理的优化，并通过 KV 状态重排提高了性能。

github llama.cpp · 9 天前 · 21 次浏览

llama.cpp b10840 为 CUDA 添加无分支 Q4_K/Q5_K 解包和 L2 预取

llama.cpp 项目发布了版本 b10840，引入了针对 CUDA 推理的性能优化。该更新实现了 Q4_K 和 Q5_K 量化格式的无分支计算，以加速矩阵-向量乘法 (mmvq)。

github llama.cpp · 10 天前 · 21 次浏览

llama.cpp b10827 修复了 OpenCL 对 q4_K 和 q5_K mul_mat 的权重包选择

llama.cpp 项目发布了版本 b10827，其中包括一个修复程序，用于使用 OpenCL 正确选择 q4_K 和 q5_K 矩阵乘法操作的权重包。

github llama.cpp · 13 天前 · 28 次浏览

llama.cpp b10791 添加 OpenCL 量化 lm_head 和解码 GEMV 优化

llama.cpp 项目发布了 b10791 版本，引入了针对量化语言模型头和解码 GEMV 操作的重大 OpenCL 优化。此更新还包括与推测性解码和多令牌预测相关的中等批次 GEMM 改进。

lab Hugging Face Blog · 15 天前 · 20 次浏览

Hugging Face 发布 207 个 WebGPU 内核及浏览器基准测试工具

Hugging Face 发布了 @huggingface/kernels，这是一个用于从 Hugging Face Hub 加载和运行优化后的 WebGPU 内核的库，并附带了首批 207 个内核。此次发布还引入了 Fleet，一个在浏览器中运行的 GPU 基准测试套件，它通过众包方式收集来自用户设备的性能和正确性证据。