github llama.cpp · 1 小时前 · inference

llama.cpp b10159 为 Metal 后端添加 FWHT 内核

译自 English → 中文

llama.cpp 项目发布了构建版本 b10159，其中引入了用于 Metal 后端的快速沃尔什-哈达玛变换 (FWHT) 内核。此更新包含正在进行中的实现细节，以及形状守卫和代码格式调整。

在 ggml-metal 中为 Metal 后端添加了 FWHT 内核支持。
包含了针对收窄问题的修复以及微小的样式更正。
提供了适用于 macOS、iOS、Linux、Windows、Android 和 openEuler 的二进制文件，涵盖 CPU、GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO) 和 Apple Silicon 架构。

该发布版本使兼容平台上的用户能够使用新的 Metal 内核。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 3 小时前 · 2 次浏览

llama.cpp b10158 为 gpt-oss 模型添加 eagle3-v3 支持

llama.cpp 项目发布了构建版本 b10158，在 gpt-oss 模型中引入了对 eagle3-v3 架构的支持。

github llama.cpp · 5 天前 · 2 次浏览

llama.cpp b10098 更新 Hexagon 激活操作

llama.cpp 项目发布了版本 b10098，其中包括对 Hexagon 激活操作的更新。此版本为 macOS、Linux、Android、Windows 和 openEuler 在各种 CPU 和 GPU 后端提供了二进制文件。

lab Hugging Face Blog · 5 天前 · 1 次浏览

Diffusers 新增原生 Nunchaku Lite 4-bit 推理支持

Hugging Face Diffusers 现在支持通过 `from_pretrained()` 原生加载 Nunchaku Lite 检查点，无需单独的推理引擎或本地 CUDA 编译。此集成利用 SVDQuant 方法运行具有 4-bit 权重和激活值（W4A4）的 Transformer 层，在显著降低内存使用的同时提高了推理速度。

github llama.cpp · 6 天前 · 1 次浏览

llama.cpp b10089 为 CUDA GET_ROWS 添加完整的 k-quant 和 i-quant 支持

llama.cpp b10089 版本扩展了 CUDA GET_ROWS 操作，以支持 k-quants、i-quants 和 mxfp4 量化格式。此更改确保所有量化的 GGML 类型现在都可以采用直接设备路径进行嵌入查找。

github llama.cpp · 6 天前

llama.cpp b10085 通过对齐位置嵌入插值修复 Qwen3-VL 定位问题

llama.cpp 项目发布了构建版本 b10085，其中包括对 Qwen3-VL 视觉模型的位置嵌入插值的修复，以解决定位坐标不匹配的问题。