github llama.cpp · 8 小时前 · inference

llama.cpp b10653 为模型加载添加了 TENSOR_READ_LAZY

译自 English → 中文

llama.cpp 项目发布了构建版本 b10653，在其模型加载器中引入了 TENSOR_READ_LAZY 功能。此更改包括添加 TENSOR_GET_ROW_LAZY 函数以及相应的命令行标志 --tensor-read-lazy。

向模型加载器添加了 TENSOR_READ_LAZY 和 TENSOR_GET_ROW_LAZY。
引入 CLI 选项 --tensor-read-lazy 以启用惰性张量读取。
提供适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）、Android 和 iOS 的二进制文件。

此版本使用新的惰性加载功能更新了核心库，并在支持的平台上分发预构建的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

阅读原文

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp 添加对 Qwen3.8-Flash-Next (qwen4exp) 架构的支持

llama.cpp 项目已添加对 Qwen3.8-Flash-Next (qwen4exp) 模型架构的支持，实现了其特定组件，包括超连接、门控 delta 网络、专家混合（MoE）和 PLE n-gram 哈希嵌入。

github llama.cpp · 6 天前 · 11 次浏览

llama.cpp b10568 使用 ggml_rope_set_offset() 支持 DeepSeek 2

llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。

github llama.cpp · 7 天前 · 17 次浏览

llama.cpp b10541 为多模态项目添加了 --mmproj-device 参数

llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。

github llama.cpp · 7 天前 · 7 次浏览

llama.cpp b10532 为 Flash Attention 添加 Metal KV 反量化支持

llama.cpp 项目发布了版本 b10532，在 Metal 后端引入了一个预处理阶段，在执行 Flash Attention 之前将量化的键值（KV）缓存反量化为 F16。

github llama.cpp · 7 天前 · 13 次浏览

llama.cpp b10517 添加 Vulkan FA 反量化优化和修复

llama.cpp 项目发布了构建版本 b10517，在 flash attention (FA) 反量化路径中引入了几项针对 Vulkan 的改进。关键更改包括：在 coopmat1 中对 q8_0 KV 进行一次反量化、在 coopmat2 上跳过 FA 反量化路径，以及将 Intel Xe1 排除在 FA 反量化路径之外。