ggml 库通过用行级 memcpy 操作替换逐元素内存复制，优化了其连接操作。此更改是 llama.cpp b10578 版本的一部分，其中包括各种平台特定的二进制文件和底层计算图的更新。
- 在连接操作中用行级 memcpy 替换逐元素 memcpy。
- 修复新行级复制机制的连接偏移量。
- 添加并移动连接块大小断言，同时移除冗余检查。
- 为 macOS、Linux、Windows、Android 和 openEuler 提供 CPU、GPU 和专用后端的构建。
github
llama.cpp
·
1 小时前
·
inference
ggml 通过用行级 memcpy 替换逐元素 memcpy 来优化连接操作
译自 English → 中文
相关文章
github
llama.cpp
·
2 小时前
·
1 次浏览
llama.cpp b10576 为 SYCL 添加 Q2_K 重排序 MMVQ 和 ESIMD 内核
llama.cpp 项目发布了构建版本 b10576，重新添加了用于 SYCL 支持的 Q2_K 重排序 MMVQ 和 ESIMD 内核。此更改有效地撤销了之前移除这些特定内核实现的提交。
github
llama.cpp
·
2 小时前
·
1 次浏览
llama.cpp b10577 修复了与嵌入向量配合使用的 draft-mtp
llama.cpp 项目发布了构建版本 b10577，其中包含对使用嵌入向量时的 draft-mtp 的修复。此更新解决了问题 #26352 和 #27299。
github
llama.cpp
·
11 小时前
·
2 次浏览
llama.cpp b10568 使用 ggml_rope_set_offset() 支持 DeepSeek 2
llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。
github
llama.cpp
·
16 小时前
·
6 次浏览
llama.cpp v0.2.0 发布，包含 ggml 0.21.0 和 Kleidiai SME2 支持
llama.cpp 项目已发布 0.2.0 版本，其中 ggml 库同步升级至 0.21.0。此次更新引入了多项后端改进，并在各种硬件平台上增加了新功能。
github
llama.cpp
·
1 天前
·
5 次浏览
llama.cpp b10541 为多模态项目添加了 --mmproj-device 参数
llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。