github llama.cpp · 11 小时前 · inference

llama.cpp b10756 限制对 Vulkan shader_bfloat16 扩展的请求

译自 English → 中文

llama.cpp 项目发布了构建版本 b10756，该版本修改了 Vulkan 后端的行为，仅在硬件支持时才请求 VK_KHR_shader_bfloat16 扩展。

此更新解决了因请求不受支持的扩展而在某些 GPU 上导致失败的问题。本次发布包含了适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL）、Android 和 iOS 的二进制文件。

该更改确保在不支持 bfloat16 shader 扩展的设备上，基于 Vulkan 的推理能正确运行。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 刚刚实时

llama.cpp b10766 增加对 DeepSeek 4 视觉支持

llama.cpp 项目发布了构建版本 b10766，其中包括对 DeepSeek 4 模型输入视觉的正确支持修复。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10762 增加对 DeepSeek-V4-Flash-Vision-Exp 的支持

llama.cpp 项目发布了构建版本 b10762，引入了对 DeepSeek-V4-Flash-Vision-Exp 模型的支持。此更新还包括通过命令行界面处理最小和最大 token 数量。

github llama.cpp · 9 小时前 · 1 次浏览

llama.cpp b10758 为 Hexagon 添加 MUL_MAT 和 MUL_MAT_ID 融合

llama.cpp 项目发布了构建版本 b10758，引入了针对 Hexagon DSP 的 MUL_MAT 和 MUL_MAT_ID 融合功能。此次更新还包括多项修复，以改善 Qualcomm 硬件上的稳定性和性能。

github llama.cpp · 9 小时前 · 3 次浏览

llama.cpp b10759 避免在分发时初始化 KleidiAI 缓冲区类型

llama.cpp 项目发布了构建版本 b10759，其中包含一项修复，以避免在分发时初始化 KleidiAI 缓冲区类型。

github llama.cpp · 11 小时前 · 1 次浏览

llama.cpp b10757 改进 Vulkan IQ3_S mat-vec 在较大批次大小下的性能

llama.cpp 项目发布了构建版本 b10757，其中包含针对 Vulkan 后端的特定优化。此更新在 NUM_COLS 大于 4 时，能高效处理 IQ3_S 矩阵向量乘法中大于 4 的较大批次大小。