github llama.cpp · 1 天前 · inference

llama.cpp b11097 添加了 A8 Q4_0 non-MoE dp4a 二进制内核

译自 English → 中文

llama.cpp 项目发布了版本 b11097，引入了用于 A8 Q4_0 non-MoE dp4a 格式的 OpenCL 二进制内核。

该更新通过新的 dp4a 内核添加了对特定 A8 Q4_0 量化格式的支持。
提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Windows（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android 和 openEuler 的二进制文件。
发布资产中还包含了 iOS XCFramework 和独立的 UI 构建版本。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11122 扩展 MMVQ GLU 融合并添加新的 SYCL 融合

llama.cpp 项目发布了版本 b11122，其中包括对 SYCL 后端的重大更新。该版本扩展了 MMVQ GLU 融合以支持混合量化类型，并为 rms_norm+scale 和 ssm_conv+silu 操作引入了新的融合。

github llama.cpp · 14 小时前 · 11 次浏览

llama.cpp b11111 添加了针对 Intel Xe 的 flash attention 优化内核

llama.cpp 项目发布了 b11111 构建版本，为 Xe-LPG Plus、Xe2 和 Xe3 架构上的 split k 路径引入了基于 Vulkan 的 flash attention 优化内核。

github llama.cpp · 17 小时前 · 9 次浏览

llama.cpp 为 HunyuanOCR 添加 DFlash 支持并修复草稿转换

llama.cpp 项目通过暴露目标图中的层输入张量，为 HunyuanOCR 模型添加了针对 DFlash 推测解码的支持。此更改使草稿模型能够读取残差流，从而使图像请求能够成功运行，其草稿接受率约为 0.5，且与非推测运行相比，OCR 输出字节完全一致。

github llama.cpp · 20 小时前 · 11 次浏览

llama.cpp b11101 发布允许对 llama 重复调用 find_package

llama.cpp 项目发布了版本 b11101，其中包含一项构建系统修复，允许对 llama 库重复调用 find_package。

lab Hugging Face Blog · 21 小时前 · 10 次浏览

Transformers 通过 ggml 内核添加对 GGUF 的支持以进行本地推理

Hugging Face 的 Transformers 库现在支持加载 GGUF 量化模型，利用底层 ggml 内核使性能接近 llama.cpp。此集成允许开发者在支持的硬件上直接在标准的 PyTorch API 中运行量化检查点。