github llama.cpp · 刚刚 · inference

llama.cpp b10158 为 gpt-oss 模型添加 eagle3-v3 支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10158，在 gpt-oss 模型中引入了对 eagle3-v3 架构的支持。

此更新可在多个平台和硬件配置上使用。下载内容包括适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu，支持 CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL 后端）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 HIP）、Android 和 openEuler 的二进制文件。

该版本提供了主应用程序及其 UI 的预编译二进制文件，使用户能够在各种系统上运行更新后的模型，而无需从源代码进行编译。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 5 天前 · 2 次浏览

llama.cpp b10098 更新 Hexagon 激活操作

llama.cpp 项目发布了版本 b10098，其中包括对 Hexagon 激活操作的更新。此版本为 macOS、Linux、Android、Windows 和 openEuler 在各种 CPU 和 GPU 后端提供了二进制文件。

lab Hugging Face Blog · 5 天前 · 1 次浏览

Diffusers 新增原生 Nunchaku Lite 4-bit 推理支持

Hugging Face Diffusers 现在支持通过 `from_pretrained()` 原生加载 Nunchaku Lite 检查点，无需单独的推理引擎或本地 CUDA 编译。此集成利用 SVDQuant 方法运行具有 4-bit 权重和激活值（W4A4）的 Transformer 层，在显著降低内存使用的同时提高了推理速度。

github llama.cpp · 6 天前 · 1 次浏览

llama.cpp b10089 为 CUDA GET_ROWS 添加完整的 k-quant 和 i-quant 支持

llama.cpp b10089 版本扩展了 CUDA GET_ROWS 操作，以支持 k-quants、i-quants 和 mxfp4 量化格式。此更改确保所有量化的 GGML 类型现在都可以采用直接设备路径进行嵌入查找。

github llama.cpp · 6 天前

llama.cpp b10085 通过对齐位置嵌入插值修复 Qwen3-VL 定位问题

llama.cpp 项目发布了构建版本 b10085，其中包括对 Qwen3-VL 视觉模型的位置嵌入插值的修复，以解决定位坐标不匹配的问题。

github llama.cpp · 8 天前 · 2 次浏览

llama.cpp b10069 为 Adreno MUL_MAT 添加 OpenCL 广播支持

llama.cpp 项目发布了构建版本 b10069，其中包括针对 Qualcomm Adreno GPU 的特定 OpenCL 更新。主要更改涉及支持 Adreno MUL_MAT 内核的广播操作，并尊重 Q8_0 MUL_MAT 变体的视图偏移量，以在 llama-server 中启用多流功能。