github llama.cpp · 1 小时前 · inference

llama.cpp b10259 允许在加载期间重塑张量

译自 English → 中文

llama.cpp 项目发布了构建版本 b10259，引入了在加载过程中重塑张量的能力。

此更新包含适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu，支持 CPU、Vulkan、ROCm、OpenVINO 和 SYCL 后端）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、HIP、OpenVINO 和 SYCL）以及 openEuler 的二进制文件。

该版本还为用户提供了独立 UI 包。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 7 小时前

llama.cpp b10254 添加 DeepSeek V4 Flash 0731 模板并更新 V4 模板

llama.cpp 项目发布了 b10254 版本，为 DeepSeek V4 Flash 0731 模型引入了新的聊天模板，并对现有的 DeepSeek V4 模板进行了更新。

github llama.cpp · 10 小时前

llama.cpp b10251 为 GLM-4.7-Flash 添加 MTP 支持

llama.cpp 项目发布了 b10251 版本，引入了对 GLM-4.7-Flash 模型的多令牌预测 (MTP) 支持。

github llama.cpp · 1 天前

llama.cpp b10238 为 Qwen3-Next 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10238，其中引入了对 Qwen3-Next 模型系列的 Multi-Token Prediction (MTP) 支持。此更新包括处理 MTP 层的具体实现更改，以及修复代码库中与 Python 类型检查相关的问题。

github llama.cpp · 1 天前 · 5 次浏览

llama.cpp b10237 为 DeepSeek V3.2 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10237，该版本为 DeepSeek V3.2 模型引入了多令牌预测（MTP）支持。

github llama.cpp · 2 天前 · 7 次浏览

llama.cpp b10232 在 Metal 中实现 DeepSeek V4 超连接

llama.cpp 项目发布了构建版本 b10232，通过 Metal 后端引入了对 DeepSeek V4 超连接的支持。此更新添加了 GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE 和 GGML_OP_DSV4_HC_POST 操作的实现。