llama.cpp 项目发布了版本 b10705，其中包括对 TENSOR_READ_LAZY 处理机制的改进。当启用延迟设置时，此更新会强制在 CPU 上加载延迟张量。
- 改进了 llama.cpp 中的 TENSOR_READ_LAZY 处理
- 在延迟模式激活时强制 CPU 上的延迟张量行为
此版本为 macOS、Linux、Windows、Android 和 iOS 提供了更新的二进制文件，支持包括 CPU、CUDA、ROCm、Vulkan 和 OpenVINO 在内的各种硬件后端。
github
llama.cpp
·
17 小时前
·
inference
llama.cpp b10705 改进了 TENSOR_READ_LAZY 处理
译自 English → 中文
相关文章
github
llama.cpp
·
2 小时前
llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token
llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。
github
llama.cpp
·
4 小时前
·
3 次浏览
llama.cpp b10717 发布增强了 SYCL 内存信息检索
llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。
github
llama.cpp
·
10 小时前
·
3 次浏览
llama.cpp b10712 为 Qwen 3.8 Flash Next 添加 Vulkan top-k radix select
llama.cpp 项目发布了构建版本 b10712，引入了一个新的用于 Vulkan 的 top-k radix sort 着色器，旨在支持大于或等于 1024 的 k 值。此更新专门针对 Qwen 3.8 Flash Next 模型，并包含相应的测试以及 top-k qsa 融合。
github
llama.cpp
·
18 小时前
·
4 次浏览
llama.cpp b10702 优化了 AMD gfx1201 的 Q2_0 点积
llama.cpp 项目发布了版本 b10702，其中包含针对 AMD gfx1201 架构上 Q2_0 量化点积路径的特定优化。此更新扩展了 HIP 实现以使用原生的 amdgcn 置换指令，从而改善此特定硬件配置的性能。
github
llama.cpp
·
1 天前
·
6 次浏览
llama.cpp b10691 修复了 F16 mul_mat 中 Metal null-pipeline 崩溃问题
llama.cpp 项目发布了构建版本 b10691，解决了 Metal 后端中的一个关键稳定性问题。该更新专门解决了在 F16 源乘法运算期间发生的 null-pipeline 崩溃。