github llama.cpp · 2 天前 · inference

llama.cpp b11020 为 DeepSeek V3.2/V4 解析器添加了消息分隔符

译自 English → 中文

llama.cpp 项目发布了 b11020 版本，其中包括对聊天解析逻辑的功能性更新。主要更改是专门为 DeepSeek V3.2 和 V4 模型解析器添加了消息分隔符。

在 pull #29008 中为 DeepSeek V3.2/V4 解析器添加了消息分隔符。
发布了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL）、Windows（CPU、OpenCL、CUDA、Vulkan、OpenVINO、SYCL、ROCm）、Android 和 openEuler 的二进制文件。

此更新确保在 llama.cpp 框架内正确解析 DeepSeek 模型的对话结构。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11046 为 flash_attn_f32_f16_bin 内核添加 OpenCL 支持

llama.cpp 项目发布了版本 b11046，其中引入了对 `flash_attn_f32_f16_bin` 内核的 OpenCL 支持。此更新还包括在 OpenCL 设备上为 Flash Attention 提供的受保护预填充功能。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b11044 更新 hexagon im2col 并发布二进制文件

llama.cpp 项目发布了版本 b11044，其中包括对 hexagon 后端的更新，以改进 image-to-column (im2col) 操作。该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了预构建的二进制文件，适用于 CPU、GPU 和其他硬件加速器。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b11045 为 Hexagon 后端添加 ROLL 操作支持

llama.cpp 项目发布了 b11045 版本，在 Hexagon 后端中引入了对 ROLL 操作的支持。

github llama.cpp · 12 小时前 · 1 次浏览

llama.cpp b11035 为 Vulkan 添加 IQ3_S MMQ 矩阵乘法内核

llama.cpp 项目发布了 b11035 版本，在其 Vulkan 后端引入了对 IQ3_S MMQ 矩阵乘法内核的支持。

github llama.cpp · 1 天前 · 5 次浏览

llama.cpp b11026 跳过 Qwen35MoE 的 gate_up_exps

llama.cpp 项目发布了构建版本 b11026，其中引入了在设置 TENSOR_SKIP 标志时跳过 gate_up_exps 的更改。此修改专门针对 MTP 张量已融合但未加载的 Qwen35MoE 模型。