github llama.cpp · 1 小时前 · inference

llama.cpp b10577 修复了与嵌入向量配合使用的 draft-mtp

译自 English → 中文

llama.cpp 项目发布了构建版本 b10577，其中包含对使用嵌入向量时的 draft-mtp 的修复。此更新解决了问题 #26352 和 #27299。

修复了通用模块中 draft-mtp 与嵌入向量的兼容性。
提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm）、Android 和 openEuler 的二进制文件。

此版本确保 draft-mtp 在支持的平台上能正确处理嵌入向量输入。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 刚刚实时

ggml 通过用行级 memcpy 替换逐元素 memcpy 来优化连接操作

ggml 库通过用行级 memcpy 操作替换逐元素内存复制，优化了其连接操作。此更改是 llama.cpp b10578 版本的一部分，其中包括各种平台特定的二进制文件和底层计算图的更新。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10576 为 SYCL 添加 Q2_K 重排序 MMVQ 和 ESIMD 内核

llama.cpp 项目发布了构建版本 b10576，重新添加了用于 SYCL 支持的 Q2_K 重排序 MMVQ 和 ESIMD 内核。此更改有效地撤销了之前移除这些特定内核实现的提交。

github llama.cpp · 10 小时前 · 2 次浏览

llama.cpp b10568 使用 ggml_rope_set_offset() 支持 DeepSeek 2

llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。

github llama.cpp · 15 小时前 · 6 次浏览

llama.cpp v0.2.0 发布，包含 ggml 0.21.0 和 Kleidiai SME2 支持

llama.cpp 项目已发布 0.2.0 版本，其中 ggml 库同步升级至 0.21.0。此次更新引入了多项后端改进，并在各种硬件平台上增加了新功能。

github llama.cpp · 1 天前 · 4 次浏览

llama.cpp b10541 为多模态项目添加了 --mmproj-device 参数

llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。