github llama.cpp · 2 天前 · inference

llama.cpp b10688 为 M2 添加 fa-vec 调优

译自 English → 中文

llama.cpp 项目发布了构建版本 b10688，其中包含一个拉取请求（pull request），为 M2 架构添加了快速向量（fa-vec）调优。

此更新在多个平台和硬件配置上提供了二进制文件和框架。macOS 构建适用于 Apple Silicon 和 Intel，而 iOS 用户可以访问 XCFramework。Linux 支持涵盖 x64、arm64 和 s390x 架构的 CPU、Vulkan、ROCm 7.14、OpenVINO 和 SYCL 变体。Windows 发行版包括对 x64 和 arm64 的 CPU、OpenCL Adreno、Vulkan、ROCm 7.14、OpenVINO、SYCL 以及 CUDA 12/13 的支持。还提供了 Android arm64 二进制文件。

该版本使用户能够使用最新的构建工件在广泛的各种设备和加速器上运行 llama.cpp。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。

github llama.cpp · 6 小时前 · 1 次浏览

llama.cpp b10714 为 Strix Halo 调整 Vulkan mat-vec 行数

llama.cpp 项目发布了构建版本 b10714，其中包括针对 AMD Strix Halo 硬件的 Vulkan 后端的特定优化。该更新调整了矩阵-向量乘法行数，以改进批量推理期间的性能。

github llama.cpp · 12 小时前 · 3 次浏览

llama.cpp b10706 添加 SWIGLU_CLAMP 和 Vulkan 着色器支持

llama.cpp 项目发布了构建版本 b10706，为 ggml 后端引入了新功能。此更新包括添加 SWIGLU_CLAMP 以及新的 Vulkan 着色器实现。