github llama.cpp · 1 天前 · inference

llama.cpp b10354 修复了 Android 上的 CPU 亲和性掩码问题

译自 English → 中文

llama.cpp 项目发布了 b10354 版本，其中包含修复了在 Android 设备上被忽略的 CPU 亲和性掩码的问题。

该版本提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL、OpenVINO）和 Android（arm64）的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了 b10344 版本，专门为 Nemotron 和 Nemotron Nano 模型引入了多令牌预测（MTP）支持。

llama.cpp 项目引入了对 Granite-Switch 架构的支持，这是一种密集模型变体，包含 N 个嵌入式的 LoRA 适配器，并通过控制令牌在每个 token 级别进行选择。该实现用图内因果“路由器”注意力机制替换了之前的概念验证全局粘性索引，以解析适配器索引。

llama.cpp 项目发布了版本 b10336，其中包括对多个 wgsl 文件的重构以及 ggml-webgpu 组件内 flash_attn wgsl 的简化。

一个名为 vLLM Launcher 的新项目已发布，它是一个专为通过 WSL2 管理本地大型语言模型推理而设计的 Windows 桌面应用程序。该工具允许用户从单一图形界面控制多个引擎后端，包括 vLLM、SGLang 和 llama.cpp。

llama.cpp 项目发布了 b10330 版本，引入了一项 CUDA 优化，将 rms_norm、乘法和 RoPE 操作融合到单个内核中。此更改伴随着对融合操作的内存范围检查以及针对广播权重的新测试用例。