github llama.cpp · 9 小时前 · inference

llama.cpp b10759 避免在分发时初始化 KleidiAI 缓冲区类型

译自 English → 中文

llama.cpp 项目发布了构建版本 b10759，其中包含一项修复，以避免在分发时初始化 KleidiAI 缓冲区类型。

该版本为 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL、OpenVINO）、Android 和 openEuler 提供了二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了构建版本 b10766，其中包括对 DeepSeek 4 模型输入视觉的正确支持修复。

llama.cpp 项目发布了构建版本 b10762，引入了对 DeepSeek-V4-Flash-Vision-Exp 模型的支持。此更新还包括通过命令行界面处理最小和最大 token 数量。

llama.cpp 项目发布了构建版本 b10758，引入了针对 Hexagon DSP 的 MUL_MAT 和 MUL_MAT_ID 融合功能。此次更新还包括多项修复，以改善 Qualcomm 硬件上的稳定性和性能。

llama.cpp 项目发布了构建版本 b10756，该版本修改了 Vulkan 后端的行为，仅在硬件支持时才请求 VK_KHR_shader_bfloat16 扩展。

llama.cpp 项目发布了构建版本 b10757，其中包含针对 Vulkan 后端的特定优化。此更新在 NUM_COLS 大于 4 时，能高效处理 IQ3_S 矩阵向量乘法中大于 4 的较大批次大小。