github llama.cpp · 1 小时前 · inference

llama.cpp b10165 为 Vulkan FA 添加 iq4_nl 和 q1_0 支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10165，恢复了 Flash Attention (FA) Vulkan 后端的 iq4_nl 量化支持。此更改通过重新启用该功能解决了问题 #23681，此前关于共享内存使用的担忧被认为可以忽略不计。

将 iq4_nl 支持重新添加回 Vulkan FA 实现。
为 non-coopmat2 配置添加 q1_0 支持。
修复了关于移除 q1_0 FA 支持的 GitHub 问题 #23681。

该版本提供了适用于 macOS、Linux、Windows 和 Android 的二进制文件，涵盖 CPU、CUDA、ROCm、OpenVINO、SYCL 和 Vulkan 后端。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 2 小时前

llama.cpp b10164 添加分块 SSD 矩阵乘法以加速 Mamba-2 预填充

llama.cpp 项目发布了 b10164 版本，引入了一种新的分块 SSD 矩阵乘法实现，旨在加速 Mamba-2 模型的预填充阶段。

github llama.cpp · 6 小时前 · 1 次浏览

llama.cpp b10159 为 Metal 后端添加 FWHT 内核

llama.cpp 项目发布了构建版本 b10159，其中引入了用于 Metal 后端的快速沃尔什-哈达玛变换 (FWHT) 内核。此更新包含正在进行中的实现细节，以及形状守卫和代码格式调整。

github llama.cpp · 8 小时前 · 2 次浏览

llama.cpp b10158 为 gpt-oss 模型添加 eagle3-v3 支持

llama.cpp 项目发布了构建版本 b10158，在 gpt-oss 模型中引入了对 eagle3-v3 架构的支持。

github llama.cpp · 5 天前 · 2 次浏览

llama.cpp b10098 更新 Hexagon 激活操作

llama.cpp 项目发布了版本 b10098，其中包括对 Hexagon 激活操作的更新。此版本为 macOS、Linux、Android、Windows 和 openEuler 在各种 CPU 和 GPU 后端提供了二进制文件。

lab Hugging Face Blog · 5 天前 · 1 次浏览

Diffusers 新增原生 Nunchaku Lite 4-bit 推理支持

Hugging Face Diffusers 现在支持通过 `from_pretrained()` 原生加载 Nunchaku Lite 检查点，无需单独的推理引擎或本地 CUDA 编译。此集成利用 SVDQuant 方法运行具有 4-bit 权重和激活值（W4A4）的 Transformer 层，在显著降低内存使用的同时提高了推理速度。