github llama.cpp · 1 小时前 · inference

llama.cpp b10636 默认禁用 npm UI 构建并清理 CI

译自 English → 中文

llama.cpp 项目发布了版本 b10636，更改了构建 Web 界面的默认行为。基于 npm 的 UI 构建现在默认禁用（LLAMA_BUILD_UI=OFF），UI 改为从本地源或预构建下载中嵌入。

此版本为 macOS、Linux、Windows、Android 和 openEuler 提供了二进制文件，涵盖各种硬件后端，包括 CPU、Vulkan、ROCm、OpenVINO、SYCL 和 CUDA。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了版本 b10635，其中包括对 CUDA 支持的具体更新。主要更改是解锁了在计算能力 6.0 (sm_60) GPU 上用于混合专家 (MoE) 架构的混合精度矩阵乘法 (mmq)。

llama.cpp 项目发布了版本 b10604，引入了对 Deepseek 4 (DSV4) 模型格式的支持，并附带适用于 macOS 和 iOS 的新预编译二进制文件。

llama.cpp 项目发布了构建版本 b10598，该版本更新 mtmd 模块以使用 pillow-accurate 缩放算法，并修正了所有模型的 resize_algo。此版本还包含速度优化。

llama.cpp 项目发布了构建版本 b10593，解决了与 DeepseekV4 模型架构相关的关键问题。此次更新特别解决了在多重序列处理期间发生的回滚失败问题。

llama.cpp 项目发布了构建版本 b10584，解决了一个关键问题：草稿上下文大小与目标上下文不匹配，导致服务器请求因 500 错误而失败。