github llama.cpp · 4 小时前 · inference

llama.cpp b10717 发布增强了 SYCL 内存信息检索

译自 English → 中文

llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。

通过 L0 SYCL API 增强内存信息检索。
移除调试代码并应用格式更新。
为 GGML_SYCL_GET_MEM_API 更新 SYCL.md 文档。
提供 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）和 openEuler 的二进制文件。

该发布确保了跨多个平台的更广泛硬件兼容性，同时通过 SYCL 后端专门解决了 Intel GPU 用户的内存管理功能。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 10 小时前 · 3 次浏览

llama.cpp b10712 为 Qwen 3.8 Flash Next 添加 Vulkan top-k radix select

llama.cpp 项目发布了构建版本 b10712，引入了一个新的用于 Vulkan 的 top-k radix sort 着色器，旨在支持大于或等于 1024 的 k 值。此更新专门针对 Qwen 3.8 Flash Next 模型，并包含相应的测试以及 top-k qsa 融合。

github llama.cpp · 17 小时前 · 6 次浏览

llama.cpp b10705 改进了 TENSOR_READ_LAZY 处理

llama.cpp 项目发布了版本 b10705，其中包括对 TENSOR_READ_LAZY 处理机制的改进。当启用延迟设置时，此更新会强制在 CPU 上加载延迟张量。

github llama.cpp · 18 小时前 · 4 次浏览

llama.cpp b10702 优化了 AMD gfx1201 的 Q2_0 点积

llama.cpp 项目发布了版本 b10702，其中包含针对 AMD gfx1201 架构上 Q2_0 量化点积路径的特定优化。此更新扩展了 HIP 实现以使用原生的 amdgcn 置换指令，从而改善此特定硬件配置的性能。

github llama.cpp · 1 天前 · 6 次浏览

llama.cpp b10691 修复了 F16 mul_mat 中 Metal null-pipeline 崩溃问题

llama.cpp 项目发布了构建版本 b10691，解决了 Metal 后端中的一个关键稳定性问题。该更新专门解决了在 F16 源乘法运算期间发生的 null-pipeline 崩溃。