github llama.cpp · 1 小时前 · inference

llama.cpp b10327 修复了量化拷贝内核中的线程/块计数

译自 English → 中文

llama.cpp 项目发布了版本 b10327，其中包含对 CUDA 上量化拷贝内核启动的线程和块计数的修复。此更新解决了在 pull request #26731 中识别出的问题。

该版本添加了针对不均匀块计数拷贝情况的测试，以确保正确性。
二进制文件适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler。
还提供了 iOS XCFramework 和独立的 UI 构建版本。

此发布确保了在广泛的受支持平台上，CUDA 硬件上量化拷贝操作的稳定执行。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 13 小时前

llama.cpp b10313 为服务器添加了 LRU 调度器

llama.cpp 项目发布了版本 b10313，为其服务器组件引入了最近最少使用 (LRU) 调度器。此更新包括请求合并的处理以及针对流式传输情况的修复。

github llama.cpp · 15 小时前

llama.cpp b10312 发布，修复繁忙模型的服务器问题

llama.cpp 项目已发布 b10312 版本，其中包含对服务器组件的特定更新。主要更改解决了繁忙模型被路由器驱逐的问题。

github llama.cpp · 17 小时前

llama.cpp b10307 修复 SYCL NVFP4 解析

llama.cpp 项目发布了版本 b10307，其中包含对 SYCL GPU 代码的修复，以正确解析 NVFP4 量化中使用的 UE4M3 缩放因子。

github llama.cpp · 1 天前

llama.cpp b10298 为 mtmd 模块添加了块保存/加载功能

llama.cpp 项目发布了构建版本 b10298，其中为 mtmd 模块引入了新的块保存和加载功能。此更新还包括代码清理和额外的测试。

github llama.cpp · 3 天前 · 1 次浏览

llama.cpp b10282 在 /metrics 端点添加了 spec-decode 计数器

llama.cpp 项目发布了版本 b10282，引入了用于推测解码的新监控功能。服务器现在在其 /metrics 端点中包含了 spec-decode 计数器，允许用户跟踪与此功能相关的性能指标。