github llama.cpp · 1 小时前 · inference

llama.cpp b10235 为 f32 添加 SILU_BACK op

译自 English → 中文

llama.cpp 项目发布了 b10235 版本，引入了针对 f32 精度的新 SILU_BACK 操作。此更新包括 silu_back 算子的实现，并移除了 ggml-metal-ops.cpp 文件中冗余的断言。

该版本提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP）和 openEuler 的二进制文件。

此更新扩展了可用的后端支持，并为 llama.cpp 用户添加了特定的计算操作。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10232 在 Metal 中实现 DeepSeek V4 超连接

llama.cpp 项目发布了构建版本 b10232，通过 Metal 后端引入了对 DeepSeek V4 超连接的支持。此更新添加了 GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE 和 GGML_OP_DSV4_HC_POST 操作的实现。

github llama.cpp · 3 小时前 · 3 次浏览

llama.cpp b10231 添加 DSpark sidecar 支持

llama.cpp 项目发布了构建版本 b10231，引入了对 DSpark 推测解码 sidecar 的支持。此更新允许 dspark 文件以与其他推测 sidecars 类似的方式解析，-hfd 标签适用于它们，并且由于其额外的 Markov head，自动选择优先于 dflash。

github llama.cpp · 7 小时前

llama.cpp b10229 修复了 OpenCL 分析数据未被刷新的问题

llama.cpp 项目发布了版本 b10229，其中包含针对 OpenCL 后端的严重错误修复。该更新解决了在程序终止期间未能写入分析数据的问题。

media Hugging Face Forums · 22 小时前 · 6 次浏览

Hardik Kumar 发布 HF 推理定价矩阵，价差高达 4.66 倍

Hugging Face 上发布的新数据集为模型推理提供商提供了全面的定价矩阵，揭示了不同供应商之间相同模型的显著成本差异。

github llama.cpp · 1 天前 · 7 次浏览

llama.cpp b10219 在聊天历史中持久化 reasoning_content

llama.cpp 项目发布了 b10219 版本，其中包含一个 CLI 修复程序，用于在聊天历史中持久化推理内容。此前，虽然 `llama-cli` 从流中收集推理内容以供显示，但它仅在消息中存储助手内容，导致 `--reasoning-preserve` 标志无法在后续轮次中重新注入之前的思考。