github llama.cpp · 1 天前 · inference

llama.cpp b11026 跳过 Qwen35MoE 的 gate_up_exps

译自 English → 中文

llama.cpp 项目发布了构建版本 b11026，其中引入了在设置 TENSOR_SKIP 标志时跳过 gate_up_exps 的更改。此修改专门针对 MTP 张量已融合但未加载的 Qwen35MoE 模型。

该版本为 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）和 openEuler 提供了二进制文件和框架。

此更新通过正确处理已融合但未加载的 MTP 张量，确保与特定 Qwen35MoE 配置的兼容性。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11046 为 flash_attn_f32_f16_bin 内核添加 OpenCL 支持

llama.cpp 项目发布了版本 b11046，其中引入了对 `flash_attn_f32_f16_bin` 内核的 OpenCL 支持。此更新还包括在 OpenCL 设备上为 Flash Attention 提供的受保护预填充功能。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b11044 更新 hexagon im2col 并发布二进制文件

llama.cpp 项目发布了版本 b11044，其中包括对 hexagon 后端的更新，以改进 image-to-column (im2col) 操作。该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了预构建的二进制文件，适用于 CPU、GPU 和其他硬件加速器。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b11045 为 Hexagon 后端添加 ROLL 操作支持

llama.cpp 项目发布了 b11045 版本，在 Hexagon 后端中引入了对 ROLL 操作的支持。

github llama.cpp · 12 小时前 · 1 次浏览

llama.cpp b11035 为 Vulkan 添加 IQ3_S MMQ 矩阵乘法内核

llama.cpp 项目发布了 b11035 版本，在其 Vulkan 后端引入了对 IQ3_S MMQ 矩阵乘法内核的支持。

github llama.cpp · 2 天前 · 4 次浏览

llama.cpp b11019 修复了嵌入文件的 GGUF 数据对齐问题，并添加了 LoRA 加载功能

llama.cpp 项目发布了版本 b11019，解决了一个关键错误：在非对齐偏移量处嵌入的 GGUF 文件会返回错误的张量数据。此次更新将 GGUF 数据部分相对于文件起始位置进行对齐，而不是相对于偏移量 0，从而确保正确加载嵌入模型。