github llama.cpp · 刚刚 · inference

llama.cpp b11298 添加了对 dflash 格式转换和特征提取的支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b11298，引入了对 dflash 格式的支持。此更新支持将模型转换为该格式以及后续的特征提取功能。

模型转换工具已更新以处理 dflash 输入。
dflash 模型现在可用特征提取功能。
在开发过程中修复了 'cont' 组件。
为 macOS、Linux、Windows、Android 和 openEuler 提供了适用于 CPU、GPU (CUDA, Vulkan, ROCm, OpenCL) 和 NPU 后端的二进制文件。

此版本允许用户在 llama.cpp 生态系统中使用 dflash 模型。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 7 小时前 · 2 次浏览

llama.cpp b11284 修复了量化权重视图上 OpenVINO GET_ROWS 的问题

llama.cpp 项目发布了构建版本 b11284，其中包含针对 OpenVINO 后端的修复，以正确处理量化权重视图上的 GET_ROWS 操作。

github llama.cpp · 11 小时前 · 2 次浏览

llama.cpp 添加对 GLM-5.3-Flash 的支持，包含 k-pool 和 MTP 修复

llama.cpp 项目已添加对 GLM-5.3-Flash (GLM5-Next) 模型架构的初步支持，包括迁移到混合索引内存以及早期的多令牌预测 (MTP) 功能。

github llama.cpp · 13 小时前 · 2 次浏览

llama.cpp b11272 优化 Hexagon 连接操作

llama.cpp 项目发布了构建版本 b11272，其中包括针对 Hexagon 后端的优化。主要更改集中在优化连接操作，以提高 Qualcomm Snapdragon 硬件上的性能。

github llama.cpp · 1 天前 · 7 次浏览

llama.cpp b11260 添加对 FP32 GELU_ERF 和 GEGLU_ERF 的支持

llama.cpp 项目发布了 b11260 版本，在 Hexagon 后端引入了对 FP32 GELU_ERF 和 GEGLU_ERF 激活函数的支持。此更新还包括优化以减少相关内核中的寄存器压力。

github llama.cpp · 1 天前 · 1 次浏览

llama.cpp b11258 在 UI 未提供时移除内置 UI service worker

llama.cpp 项目发布了构建版本 b11258，其中包含对内置 Web 界面 service worker 行为的修复。此前，使用 `--path` 或 `--no-ui` 等标志会导致浏览器保留界面的缓存版本，因为服务器为 `/sw.js` 返回了 404，这不会触发 service worker 的移除。