github llama.cpp · 1 天前 · inference

llama.cpp b10692 在 TOP_K SYCL 内核中拆分长行

译自 English → 中文

llama.cpp 项目发布了构建版本 b10692，其中包含对 TOP_K 操作的 SYCL 实现的修改。该更改涉及在内核中拆分长行，而不是每行分配一个工作组。

此更新可在多个平台和硬件后端上使用，包括 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm 7.14、OpenVINO 和 SYCL FP32/FP16）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 ROCm 7.14）、Android 和 iOS。

该版本提供了针对 x64、arm64 和 s390x 等各种架构的二进制文件，以及更新后的 UI 包。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 4 小时前 · 3 次浏览

llama.cpp b10717 发布增强了 SYCL 内存信息检索

llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。

github llama.cpp · 10 小时前 · 3 次浏览

llama.cpp b10712 为 Qwen 3.8 Flash Next 添加 Vulkan top-k radix select

llama.cpp 项目发布了构建版本 b10712，引入了一个新的用于 Vulkan 的 top-k radix sort 着色器，旨在支持大于或等于 1024 的 k 值。此更新专门针对 Qwen 3.8 Flash Next 模型，并包含相应的测试以及 top-k qsa 融合。

github llama.cpp · 17 小时前 · 6 次浏览

llama.cpp b10705 改进了 TENSOR_READ_LAZY 处理

llama.cpp 项目发布了版本 b10705，其中包括对 TENSOR_READ_LAZY 处理机制的改进。当启用延迟设置时，此更新会强制在 CPU 上加载延迟张量。

github llama.cpp · 18 小时前 · 4 次浏览

llama.cpp b10702 优化了 AMD gfx1201 的 Q2_0 点积

llama.cpp 项目发布了版本 b10702，其中包含针对 AMD gfx1201 架构上 Q2_0 量化点积路径的特定优化。此更新扩展了 HIP 实现以使用原生的 amdgcn 置换指令，从而改善此特定硬件配置的性能。