github llama.cpp · 2 小时前 · inference

llama.cpp 在 Windows ROCm 版本中捆绑 HIP runtime DLL

译自 English → 中文

llama.cpp 项目已更新其 Windows ROCm 版本，将必要的 HIP runtime DLL 直接打包到二进制文件旁边。此更改解决了问题 #26929，确保加载正确的 HIP runtime，而不是可能与 System32 中的驱动程序副本发生冲突。

为此，构建过程现在将 amdhip64_7、amd_comgr 和 rocm_kpack 复制到可执行文件旁边。这保证了应用程序使用捆绑的运行时库，而不是依赖可能导致版本不匹配或加载错误的系统级安装。

此修复解决了在 Windows 上使用 ROCm 7.14 运行 llama.cpp 用户的运行时依赖问题，确保稳定的 GPU 加速而无需手动管理 DLL。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10662 添加 ctx-per-slot 以支持统一 KV 缓存

llama.cpp 项目发布了构建版本 b10662，引入了一个新的 `--kv-unified-per-slot` 参数，允许用户为统一 KV 缓存指定每个槽位的上下文。此更改用上下文池槽位替换了之前的上下文比例机制，并重构了底层实现。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp 添加对 Qwen3.8-Flash-Next (qwen4exp) 架构的支持

llama.cpp 项目已添加对 Qwen3.8-Flash-Next (qwen4exp) 模型架构的支持，实现了其特定组件，包括超连接、门控 delta 网络、专家混合（MoE）和 PLE n-gram 哈希嵌入。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10658 添加 DFlash2 支持并修复 mrope 错误

llama.cpp 项目发布了构建版本 b10658，引入了对 DFlash2 规范的支持，其中包括局部卷积和候选选择器。此更新还解决了代码库中的特定 mrope 错误。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10656 限制工作内存以避免将大型张量加载到 RAM

llama.cpp 项目发布了构建版本 b10656，其中包括对工作内存大小的限制更改。此修改旨在防止大型张量被加载到系统 RAM 中。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10657 为 GEMO MOE 添加了 OpenCL 二进制内核

llama.cpp 项目发布了 b10657 版本，引入了用于混合专家模型的新 OpenCL 二进制内核。具体而言，该更新添加了 `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` 和 `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` 以支持在兼容硬件上进行高效计算。