github llama.cpp · 1 小时前 · inference

llama.cpp b10336 发布，包含 ggml-webgpu 重构

译自 English → 中文

llama.cpp 项目发布了版本 b10336，其中包括对多个 wgsl 文件的重构以及 ggml-webgpu 组件内 flash_attn wgsl 的简化。

此更新提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler 平台的二进制文件。

该版本还包含标准的 UI 构建，供用户与模型推理引擎进行交互。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

media Hugging Face Forums · 1 天前 · 8 次浏览

vLLM Launcher 为本地 LLM 推理提供 Windows 桌面工作台

一个名为 vLLM Launcher 的新项目已发布，它是一个专为通过 WSL2 管理本地大型语言模型推理而设计的 Windows 桌面应用程序。该工具允许用户从单一图形界面控制多个引擎后端，包括 vLLM、SGLang 和 llama.cpp。

github llama.cpp · 2 天前 · 1 次浏览

llama.cpp b10330 在 CUDA 上融合 rms_norm、mul 和 rope

llama.cpp 项目发布了 b10330 版本，引入了一项 CUDA 优化，将 rms_norm、乘法和 RoPE 操作融合到单个内核中。此更改伴随着对融合操作的内存范围检查以及针对广播权重的新测试用例。

github llama.cpp · 2 天前 · 6 次浏览

llama.cpp b10328 通过 Docker 添加服务器工具的初步隔离

llama.cpp 项目发布了构建版本 b10328，引入了在服务器组件内使用 Docker 隔离工具的初步支持。此更新包括文档和代码适配，以分离工具 I/O 沙箱并重命名相关配置标志。

github llama.cpp · 2 天前 · 5 次浏览

llama.cpp b10327 修复了量化拷贝内核中的线程/块计数

llama.cpp 项目发布了版本 b10327，其中包含对 CUDA 上量化拷贝内核启动的线程和块计数的修复。此更新解决了在 pull request #26731 中识别出的问题。

github llama.cpp · 3 天前 · 7 次浏览

llama.cpp b10313 为服务器添加了 LRU 调度器

llama.cpp 项目发布了版本 b10313，为其服务器组件引入了最近最少使用 (LRU) 调度器。此更新包括请求合并的处理以及针对流式传输情况的修复。