github llama.cpp · 2 小时前 · inference

llama.cpp b10608 修复视频 moov atom 和 SIGPIPE

译自 English → 中文

llama.cpp 项目发布了构建版本 b10608，其中包括对视频模块的修复，以正确处理文件末尾的 moov atom。此更新还通过添加对 Windows 上管道断裂情况的处理来解决 SIGPIPE 问题。

此版本为 macOS、Linux、Windows、Android 和 openEuler 提供了更新的二进制文件，支持包括 CPU、CUDA、ROCm、Vulkan 和 OpenVINO 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

一位移动应用开发者通过解决两个主要低效问题，将LLM API成本从初始预估的四倍降至约四分之一：天真地全量重发历史以及冗余的RAG上下文注入。

llama.cpp 项目发布了 b10610 版本，其中包括对 ggml 后端中 CUDA 和 Metal 平台的虚拟设备命名进行简化的更改。

llama.cpp 项目发布了构建版本 b10605，其中包含针对 Mamba2 架构的关键优化。该更新将 Mamba2 模型的输入和输出投影展平，以调度通用矩阵乘法 (GEMM) 操作，而不是通用矩阵向量 (GEMV) 操作。

Qwen 3.8 27B 模型通过 vLLM 以 FP8 格式运行，上下文窗口为 256K，在 Aider 基准测试中取得了 72.9 的分数。

llama.cpp 项目发布了版本 b10604，引入了对 Deepseek 4 (DSV4) 模型格式的支持，并附带适用于 macOS 和 iOS 的新预编译二进制文件。