github llama.cpp · 刚刚 · inference

llama.cpp b10889 版本避免为索引器分配 V 缓存

译自 English → 中文

llama.cpp 项目发布了构建版本 b10889，其中包括一项内存优化，以避免为未使用的索引器分配 V 缓存。

此更新提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x，支持 CPU、Vulkan、ROCm 10.0、OpenVINO 和 SYCL 后端）、Android（arm64）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）和 openEuler 的预编译二进制文件。

该版本还包含了 llama.cpp UI。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10888 为 GPU 分析器添加 Vulkan 命令缓冲区调试标签

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10886 为 s390x 添加 Q1_0 向量内置支持

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

github llama.cpp · 17 小时前 · 1 次浏览

llama.cpp b10883 修复 Vulkan 矩阵乘法并恢复 Ampere 优化

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。

media r/LocalLLaMA · 20 小时前 · 1 次浏览

gtrg55 发布 INT4 量化的 NVIDIA Cosmos3 64B，用于本地图像生成

一位用户发布了在本地运行 NVIDIA 640 亿参数 Cosmos3 模型的代码和权重，采用 INT4 量化。该实现在 Apple Silicon 上通过 MLX 以及 CUDA 支持文本到图像和图像到视频任务。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10872 修复了模板查找中 Jinja 的 null 左操作数

llama.cpp 项目发布了构建版本 b10872，其中包括对 Jinja 模板处理的修复。该更新解决了这样一个问题：当模板将可选变量默认为 none 并测试其在映射中的成员资格时，之前会触发错误。