llama.cpp 发布 b9738:修复 CORS 认证头转发问题并新增二进制构建
llama.cpp 版本 b9738 修复了 CORS 代理,避免转发认证头。此次发布包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建文件,支持多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
llama.cpp 版本 b9738 修复了 CORS 代理,避免转发认证头。此次发布包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建文件,支持多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
ggml 项目通过将 n_batch * M 上的分区展平,优化了 AMX 性能,确保所有线程都参与量化。这一改进在 CPU 和 GPU 平台上的各种模型和硬件配置中,将速度提升了最高 1.47 倍,结果显示推理时间一致缩短。
GLM-5.2 模型的 DSA 索引器在所有层上被错误加载,导致因缺少张量而失败。此次更新将索引器张量标记为 TENSOR_NOT_REQUIRED,使得没有索引器的层可以以 nullptr 形式加载,并启用完整的 MLA 注意力机制。DeepSeek-V3.2 由于采用统一索引,不受影响。
已提交一个拉取请求,旨在为 Docker 中的 s390x 架构添加预构建的 Web UI。该更改目前待发布,尚未公开。
LLaMA.cpp 发布了版本 b9732,包含适用于 macOS、Linux、Android、Windows 和 openEuler 的更新二进制文件。此次发布包括重构的子节点到路由器通信、唤醒处理修复、改进的 update_status() 以及文档。新构建支持 Vulkan、ROCm、OpenVINO、SYCL 以及在多种架构上的 CUDA 12/13。
ggml-webgpu 项目已为 Vulkan 和 NVIDIA GPU 添加了半精度 (F16) 支持的适配器切换。此更新提升了在 macOS、Linux、Android、Windows 和 openEuler 等多个平台上兼容硬件的性能,并提供针对 ARM 和 x64 架构的特定构建版本。
llama.cpp 版本 b9731 引入了使用 std::partial_sort 的优化,以减少令牌排序开销,将 top-n 令牌选择的性能从 8.555ms 提升至 0.704ms。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的预构建二进制文件,支持多种架构和硬件加速选项。
llama.cpp 版本 b9730 包含对 Windows 上 UTF-8 处理的修复以及对 ggml_fopen 和 CLI 的改进。该版本为 macOS、Linux、Android、Windows 和 openEuler 提供了适用于多种架构和硬件加速选项(包括 Vulkan、CUDA、OpenVINO 和 SYCL)的二进制文件。
LLaMA.cpp 发布了版本 b9729,提供适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构。该版本包括对 CPU、Vulkan、OpenVINO、SYCL 和 ROCm 的支持,以及一个新的 UI 包。内部对 'webui' 的引用已被移除。
LLaMA.cpp 版本 b9728 引入了对 --api-key-file 配置中注释行的支持。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的预构建二进制文件,涵盖多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
llama.cpp 版本 b9726 引入了新的 --agent 参数,并移除了冗余的 webui 命名兼容性。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的预编译二进制文件,支持多种架构和硬件加速选项。
llama.cpp 版本 b9727 将 cpp-httplib 更新至 0.48.0 版。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,支持多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
Docker 项目已添加对构建 UI 组件的支持。此更新还包括在容器配置中使用现有的 APP_VERSION。
llama.cpp 版本 b9724 包含多项错误修复和改进,例如构建修复、area() 函数中的溢出避免以及 get_u32() 中的健全性检查。该版本提供了适用于 macOS(arm64 和 x64)、Linux(x64、arm64、s390x、Vulkan、ROCm、OpenVINO、SYCL)、Android(arm64)、Windows(x64、arm64、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)和 openEuler(支持 ACL Graph 的 x86 和 aarch64)的预编译二进制文件,以及一个 UI 包。
llama.cpp 版本 b9723 通过 Eagle3 引入了对 Qwen3.5 和 Qwen3.6 模型的支持。该版本包括针对混合模型的延迟边界检查点恢复,以及对 API 和命名约定的更新。二进制构建文件适用于 macOS、Linux、Android、Windows 和 openEuler 平台,并提供 CPU、Vulkan、OpenVINO、SYCL 和 ROCm 选项。
LLaMA.cpp 版本 b9722 修复了服务器上下文处理中 n_discard 值未绑定的问题。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的预编译二进制文件,支持各种架构以及 Vulkan、CUDA、OpenVINO 和 SYCL 等加速框架。
llama.cpp 版本 b9718 将槽位选择整合为单个函数 get_available_slot,同时保持用于提示缓存更新的 LCP 相似度检查。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建,支持多种架构和硬件加速选项。
llama.cpp 发布了 b9721 版本,提供适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构。该版本包括 CPU、Vulkan、ROCm、OpenVINO、SYCL 和 HIP 支持,并附带专用 UI 包。Apple Silicon 的 KleidiAI 功能目前处于禁用状态。
ggml-cpu 现在支持 Power10 Q8/Q4 MMA 矩阵乘法中的 K tails,不再要求 K 能被 kc 整除。这使得更多工作负载能够使用 MMA 内核,并减少对 mnpack 的回退。
v0.17.6 版本添加了预批准工具输入护栏和仅 SDK 的工具输出自定义数据。它还强制执行严格的 JSON 兼容工具输出契约,并抑制工具名称中的不必要空白警告。@siddiksawani 在本版本中做出了首次贡献。