github llama.cpp · 刚刚 · inference

llama.cpp b10922 添加了 OpenCL A8 Q4_K 二进制内核

译自 English → 中文

llama.cpp 项目发布了版本 b10922，引入了用于 A8 Q4_K 非 MoE 矩阵乘法的新 OpenCL 二进制内核。此更新还包括修复布局兼容性问题并重命名代码库中的二进制内核选择辅助函数。

此版本为 macOS、Linux、Windows、Android 和 iOS 提供了更新的二进制文件，涵盖各种硬件后端，包括 CPU、CUDA、Vulkan、ROCm 和 SYCL。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了版本 b10907，其中包括对多令牌预测 (MTP) 上下文键值缓存分配的修复。此更新解决了影响 deepseek2、glm4moe 和 cohere2moe 架构的问题。

llama.cpp 项目发布了版本 b10908，其中包括对 ne00 < 1024 的剩余 iq mul_mv 内核中空闲线程的修复。此更改将行分割逻辑推广到六个特定内核：iq1_s、iq1_m、iq2_xxs、iq2_xs、iq2_s 和 iq3_s。

llama.cpp 项目发布了构建版本 b10905，其中包括对 gfx1201 架构上 CUDA/HIP 的 Flash Attention 进行特定调整。此更新专注于优化 AMD RDNA4 GPU 的性能。

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。