github llama.cpp · 3 小时前 · inference

llama.cpp b10656 限制工作内存以避免将大型张量加载到 RAM

译自 English → 中文

llama.cpp 项目发布了构建版本 b10656，其中包括对工作内存大小的限制更改。此修改旨在防止大型张量被加载到系统 RAM 中。

该版本提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Android、Windows 和 openEuler 的二进制文件。
支持的后端包括 CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL、CUDA 12/13 和 OpenCL Adreno。
此构建中禁用了 macOS Apple Silicon 的 KleidiAI 支持。

通过限制工作内存占用，此更新确保了量化过程中更稳定的内存使用。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10662 添加 ctx-per-slot 以支持统一 KV 缓存

llama.cpp 项目发布了构建版本 b10662，引入了一个新的 `--kv-unified-per-slot` 参数，允许用户为统一 KV 缓存指定每个槽位的上下文。此更改用上下文池槽位替换了之前的上下文比例机制，并重构了底层实现。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp 添加对 Qwen3.8-Flash-Next (qwen4exp) 架构的支持

llama.cpp 项目已添加对 Qwen3.8-Flash-Next (qwen4exp) 模型架构的支持，实现了其特定组件，包括超连接、门控 delta 网络、专家混合（MoE）和 PLE n-gram 哈希嵌入。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10658 添加 DFlash2 支持并修复 mrope 错误

llama.cpp 项目发布了构建版本 b10658，引入了对 DFlash2 规范的支持，其中包括局部卷积和候选选择器。此更新还解决了代码库中的特定 mrope 错误。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp 在 Windows ROCm 版本中捆绑 HIP runtime DLL

llama.cpp 项目已更新其 Windows ROCm 版本，将必要的 HIP runtime DLL 直接打包到二进制文件旁边。此更改解决了问题 #26929，确保加载正确的 HIP runtime，而不是可能与 System32 中的驱动程序副本发生冲突。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10657 为 GEMO MOE 添加了 OpenCL 二进制内核

llama.cpp 项目发布了 b10657 版本，引入了用于混合专家模型的新 OpenCL 二进制内核。具体而言，该更新添加了 `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` 和 `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` 以支持在兼容硬件上进行高效计算。