github llama.cpp · 1 小时前 · inference

llama.cpp b10313 为服务器添加了 LRU 调度器

译自 English → 中文

llama.cpp 项目发布了版本 b10313，为其服务器组件引入了最近最少使用 (LRU) 调度器。此更新包括请求合并的处理以及针对流式传输情况的修复。

此版本为 macOS、Linux、Windows、Android 和 iOS 提供了更新的二进制文件，适用于包括 CPU、CUDA、Vulkan、ROCm 和 OpenVINO 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目已发布 b10312 版本，其中包含对服务器组件的特定更新。主要更改解决了繁忙模型被路由器驱逐的问题。

llama.cpp 项目发布了版本 b10307，其中包含对 SYCL GPU 代码的修复，以正确解析 NVFP4 量化中使用的 UE4M3 缩放因子。

llama.cpp 项目发布了构建版本 b10298，其中为 mtmd 模块引入了新的块保存和加载功能。此更新还包括代码清理和额外的测试。

llama.cpp 项目发布了版本 b10282，引入了用于推测解码的新监控功能。服务器现在在其 /metrics 端点中包含了 spec-decode 计数器，允许用户跟踪与此功能相关的性能指标。

llama.cpp 项目发布了构建版本 b10259，引入了在加载过程中重塑张量的能力。