github llama.cpp · 刚刚 · inference

llama.cpp b10414 添加 TQ2_0 支持并优化 mul_mv 内核

译自 English → 中文

llama.cpp 项目发布了构建版本 b10414，在 Metal 后端引入了对 GGML_TYPE_TQ2_0 三元量化的支持。此更新还包括对连续张量 (cont) mul_mv 内核的优化。

此版本为 macOS、Linux、Windows、Android 和 openEuler 提供了更新的二进制文件，涵盖各种硬件后端，包括 CPU、CUDA、Vulkan、ROCm 和 SYCL。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了 b10354 版本，其中包含修复了在 Android 设备上被忽略的 CPU 亲和性掩码的问题。

llama.cpp 项目发布了 b10344 版本，专门为 Nemotron 和 Nemotron Nano 模型引入了多令牌预测（MTP）支持。

llama.cpp 项目引入了对 Granite-Switch 架构的支持，这是一种密集模型变体，包含 N 个嵌入式的 LoRA 适配器，并通过控制令牌在每个 token 级别进行选择。该实现用图内因果“路由器”注意力机制替换了之前的概念验证全局粘性索引，以解析适配器索引。

llama.cpp 项目发布了版本 b10336，其中包括对多个 wgsl 文件的重构以及 ggml-webgpu 组件内 flash_attn wgsl 的简化。

一个名为 vLLM Launcher 的新项目已发布，它是一个专为通过 WSL2 管理本地大型语言模型推理而设计的 Windows 桌面应用程序。该工具允许用户从单一图形界面控制多个引擎后端，包括 vLLM、SGLang 和 llama.cpp。