github llama.cpp · 1 小时前 · inference

llama.cpp b10202 发布，包含 SYCL RMS_NORM 融合

译自 English → 中文

llama.cpp 项目发布了 b10202 版本，引入了将 RMS_NORM 和 MUL 操作融合的 SYCL 优化。

此更新提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Windows 和 Android 的预构建二进制文件。它支持多种硬件后端，包括 CUDA 12/13、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16、HIP 和 OpenCL Adreno。

该版本还包含标准的 llama.cpp UI，并指出 KleidiAI 对 macOS Apple Silicon 的支持目前已被禁用。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10201 改进长上下文量化 KV 的 flash attention

llama.cpp 项目发布了版本 b10201，其中包括对 ggml-webgpu 后端的重大改进。此更新增强了在处理长上下文生成期间的量化键值缓存时的 flash attention 性能。

github llama.cpp · 17 小时前 · 1 次浏览

llama.cpp b10198 为量化拼接添加 Vulkan 支持

llama.cpp 项目发布了构建版本 b10198，在 Vulkan 后端中引入了对量化拼接操作的支持。

github llama.cpp · 2 天前 · 1 次浏览

llama.cpp b10180 为 SYCL 一元运算添加连续快速路径和 32 位索引数学

llama.cpp 项目发布了构建版本 b10180，引入了针对 SYCL 后端的性能优化。该更新实现了连续快速路径，并将逐元素索引数学切换为使用 fastdiv 配合 32 位整数。

github llama.cpp · 4 天前 · 3 次浏览

llama.cpp b10155 添加 MiMo-V2.5 音频支持

llama.cpp 项目发布了构建版本 b10155，引入了对 MiMo-V2.5 音频输入模型的支持。此更新包括用于 MiMo 音频的 GGUF 转换器，并实现了处理基于 RVQ 的音频模型所需的 C++ 后端逻辑。

github llama.cpp · 4 天前 · 3 次浏览

llama.cpp b10150 调整 ggml 卸载逻辑并修复 dsv4 图

llama.cpp 项目发布了构建版本 b10150，其中包括对将操作卸载到权重后端的 ggml 逻辑的调整。此更新还解决了 llama dsv4 图的修复问题。