github llama.cpp · 1 小时前 · inference

llama.cpp b11044 更新 hexagon im2col 并发布二进制文件

译自 English → 中文

llama.cpp 项目发布了版本 b11044，其中包括对 hexagon 后端的更新，以改进 image-to-column (im2col) 操作。该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了预构建的二进制文件，适用于 CPU、GPU 和其他硬件加速器。

ggml-hexagon 现在接受 1D 和填充的 IM2COL 操作。
pure-DDR IM2COL 内核已具备 2D 感知能力。
IM2COL DMA patch-embed 快速路径已扩展到 1D。
添加了 blocked-staging general IM2COL DMA 内核。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b11046 为 flash_attn_f32_f16_bin 内核添加 OpenCL 支持

llama.cpp 项目发布了版本 b11046，其中引入了对 `flash_attn_f32_f16_bin` 内核的 OpenCL 支持。此更新还包括在 OpenCL 设备上为 Flash Attention 提供的受保护预填充功能。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b11045 为 Hexagon 后端添加 ROLL 操作支持

llama.cpp 项目发布了 b11045 版本，在 Hexagon 后端中引入了对 ROLL 操作的支持。

github llama.cpp · 12 小时前 · 1 次浏览

llama.cpp b11035 为 Vulkan 添加 IQ3_S MMQ 矩阵乘法内核

llama.cpp 项目发布了 b11035 版本，在其 Vulkan 后端引入了对 IQ3_S MMQ 矩阵乘法内核的支持。

github llama.cpp · 1 天前 · 5 次浏览

llama.cpp b11026 跳过 Qwen35MoE 的 gate_up_exps

llama.cpp 项目发布了构建版本 b11026，其中引入了在设置 TENSOR_SKIP 标志时跳过 gate_up_exps 的更改。此修改专门针对 MTP 张量已融合但未加载的 Qwen35MoE 模型。

github llama.cpp · 2 天前 · 4 次浏览

llama.cpp b11019 修复了嵌入文件的 GGUF 数据对齐问题，并添加了 LoRA 加载功能

llama.cpp 项目发布了版本 b11019，解决了一个关键错误：在非对齐偏移量处嵌入的 GGUF 文件会返回错误的张量数据。此次更新将 GGUF 数据部分相对于文件起始位置进行对齐，而不是相对于偏移量 0，从而确保正确加载嵌入模型。