github llama.cpp · 2 小时前 · inference

llama.cpp b10589 添加 CUDA POOL_1D 支持

译自 English → 中文

llama.cpp 项目发布了版本 b10589，通过 pull request #27573 引入了 CUDA POOL_1D 支持。此更新还包括通过添加缺失的尾随换行符来修复 editorconfig 合规性。

该版本为 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Windows（x64 和 arm64）以及 Android 提供二进制文件。支持的后端包括 CPU、CUDA 12/13、Vulkan、ROCm 7.14、OpenVINO、SYCL 和 OpenCL Adreno。

此版本使用户能够在新 pooling 功能的帮助下，在各种硬件架构和操作系统上运行 llama.cpp。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

相关文章

github llama.cpp · 13 小时前 · 6 次浏览

llama.cpp b10587 将 PAD_REFLECT_1D 添加到 Vulkan 后端

llama.cpp 项目发布了构建版本 b10587，在 Vulkan 后端引入了 GGML_OP_PAD_REFLECT_1D 操作。此更新实现了必要的 GLSL 计算着色器，并在 ggml-vulkan 模块中注册了 SPIR-V 编译。

github llama.cpp · 18 小时前 · 2 次浏览

llama.cpp b10584 修复草稿上下文大小以阻止服务器 500 错误

llama.cpp 项目发布了构建版本 b10584，解决了一个关键问题：草稿上下文大小与目标上下文不匹配，导致服务器请求因 500 错误而失败。

media Hugging Face Forums · 21 小时前 · 4 次浏览

Xyntetik Runner 通过量化 GGUF 权重直接训练 LoRA

Joakimpalm-Zen 已更新 Xyntetik Runner，使其能够直接使用其用于推理的相同量化 GGUF 权重来训练 LoRA 适配器，从而无需单独的 FP16 训练副本或运行时。

github llama.cpp · 23 小时前 · 2 次浏览

llama.cpp b10581 为 bailinmoe3 添加 DSpark 支持

llama.cpp 项目发布了构建版本 b10581，引入了对 DSpark 后端的支持以启用 bailinmoe3 模型。

github llama.cpp · 1 天前 · 1 次浏览

ggml 通过用行级 memcpy 替换逐元素 memcpy 来优化连接操作

ggml 库通过用行级 memcpy 操作替换逐元素内存复制，优化了其连接操作。此更改是 llama.cpp b10578 版本的一部分，其中包括各种平台特定的二进制文件和底层计算图的更新。