github llama.cpp · 2 天前 · inference

llama.cpp b11073 在 SYCL 中合并 MKL-FA softmax 加载

译自 English → 中文

llama.cpp 项目发布了版本 b11073，其中包含对 SYCL 后端的更改。此更新将 MKL-FA softmax 加载进行合并，而不是为每行分配一个 work-item。

该版本为 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu 带 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO 和 SYCL FP32/FP16）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）、Android 和 openEuler 提供二进制文件。
发行版中还包含 iOS XCFramework。

发布说明未指定此更改的性能改进或用户收益。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 刚刚 · 3 次浏览实时

llama.cpp b11122 扩展 MMVQ GLU 融合并添加新的 SYCL 融合

llama.cpp 项目发布了版本 b11122，其中包括对 SYCL 后端的重大更新。该版本扩展了 MMVQ GLU 融合以支持混合量化类型，并为 rms_norm+scale 和 ssm_conv+silu 操作引入了新的融合。

github llama.cpp · 14 小时前 · 11 次浏览

llama.cpp b11111 添加了针对 Intel Xe 的 flash attention 优化内核

llama.cpp 项目发布了 b11111 构建版本，为 Xe-LPG Plus、Xe2 和 Xe3 架构上的 split k 路径引入了基于 Vulkan 的 flash attention 优化内核。

github llama.cpp · 18 小时前 · 9 次浏览

llama.cpp 为 HunyuanOCR 添加 DFlash 支持并修复草稿转换

llama.cpp 项目通过暴露目标图中的层输入张量，为 HunyuanOCR 模型添加了针对 DFlash 推测解码的支持。此更改使草稿模型能够读取残差流，从而使图像请求能够成功运行，其草稿接受率约为 0.5，且与非推测运行相比，OCR 输出字节完全一致。

github llama.cpp · 20 小时前 · 11 次浏览

llama.cpp b11101 发布允许对 llama 重复调用 find_package

llama.cpp 项目发布了版本 b11101，其中包含一项构建系统修复，允许对 llama 库重复调用 find_package。

lab Hugging Face Blog · 21 小时前 · 10 次浏览

Transformers 通过 ggml 内核添加对 GGUF 的支持以进行本地推理

Hugging Face 的 Transformers 库现在支持加载 GGUF 量化模型，利用底层 ggml 内核使性能接近 llama.cpp。此集成允许开发者在支持的硬件上直接在标准的 PyTorch API 中运行量化检查点。