github llama.cpp · 刚刚 · inference

llama.cpp b10766 增加对 DeepSeek 4 视觉支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10766，其中包括对 DeepSeek 4 模型输入视觉的正确支持修复。

正确支持 DeepSeek 4 的输入视觉。
提供 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA、OpenCL、Vulkan、OpenVINO、SYCL、ROCm）和 openEuler 的二进制文件。

此更新使用户能够在最新版的 llama.cpp 构建中，在支持的平台上运行具有视觉能力的 DeepSeek 4。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10762 增加对 DeepSeek-V4-Flash-Vision-Exp 的支持

llama.cpp 项目发布了构建版本 b10762，引入了对 DeepSeek-V4-Flash-Vision-Exp 模型的支持。此更新还包括通过命令行界面处理最小和最大 token 数量。

github llama.cpp · 9 小时前 · 1 次浏览

llama.cpp b10758 为 Hexagon 添加 MUL_MAT 和 MUL_MAT_ID 融合

llama.cpp 项目发布了构建版本 b10758，引入了针对 Hexagon DSP 的 MUL_MAT 和 MUL_MAT_ID 融合功能。此次更新还包括多项修复，以改善 Qualcomm 硬件上的稳定性和性能。

github llama.cpp · 9 小时前 · 3 次浏览

llama.cpp b10759 避免在分发时初始化 KleidiAI 缓冲区类型

llama.cpp 项目发布了构建版本 b10759，其中包含一项修复，以避免在分发时初始化 KleidiAI 缓冲区类型。

github llama.cpp · 11 小时前 · 1 次浏览

llama.cpp b10756 限制对 Vulkan shader_bfloat16 扩展的请求

llama.cpp 项目发布了构建版本 b10756，该版本修改了 Vulkan 后端的行为，仅在硬件支持时才请求 VK_KHR_shader_bfloat16 扩展。

github llama.cpp · 11 小时前 · 1 次浏览

llama.cpp b10757 改进 Vulkan IQ3_S mat-vec 在较大批次大小下的性能

llama.cpp 项目发布了构建版本 b10757，其中包含针对 Vulkan 后端的特定优化。此更新在 NUM_COLS 大于 4 时，能高效处理 IQ3_S 矩阵向量乘法中大于 4 的较大批次大小。