llama.cpp 发布 b9718:整合槽位选择与全新二进制构建
llama.cpp 版本 b9718 将槽位选择整合为单个函数 get_available_slot,同时保持用于提示缓存更新的 LCP 相似度检查。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建,支持多种架构和硬件加速选项。
llama.cpp 版本 b9718 将槽位选择整合为单个函数 get_available_slot,同时保持用于提示缓存更新的 LCP 相似度检查。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建,支持多种架构和硬件加速选项。
llama.cpp 发布了 b9721 版本,提供适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构。该版本包括 CPU、Vulkan、ROCm、OpenVINO、SYCL 和 HIP 支持,并附带专用 UI 包。Apple Silicon 的 KleidiAI 功能目前处于禁用状态。
ggml-cpu 现在支持 Power10 Q8/Q4 MMA 矩阵乘法中的 K tails,不再要求 K 能被 kc 整除。这使得更多工作负载能够使用 MMA 内核,并减少对 mnpack 的回退。
v0.17.6 版本添加了预批准工具输入护栏和仅 SDK 的工具输出自定义数据。它还强制执行严格的 JSON 兼容工具输出契约,并抑制工具名称中的不必要空白警告。@siddiksawani 在本版本中做出了首次贡献。
llama.cpp 版本 b9716 引入了对 InternVL 的批处理支持,通过高效的批处理提升模型性能。该版本包括适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建,涵盖多种架构和硬件加速选项,包括 Vulkan、OpenVINO、SYCL 和 ROCm。
llama.cpp 已发布版本 b9713,为 mtmd-cli 添加了批处理支持以及视频测试。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,覆盖多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
llama.cpp 版本 b9714 向流式传输端点添加了 "X-Accel-Buffering": "no" 头,以防止 Nginx 缓冲响应,从而解决了 Pi 编码工具等应用程序的流式传输问题。该发布版包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,支持多种架构和硬件加速选项。
LLaMA.cpp 版本 b9715 引入了对 GGML_OP_COL2IM_1D 的 CUDA 支持,这是在 CPU 实现基础上的扩展。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构和加速框架,包括 Vulkan、ROCm、OpenVINO 和 SYCL。
llama.cpp 发布了版本 b9711,包含适用于 macOS、Linux、Android、Windows 和 openEuler 的更新二进制文件。该版本支持 ARM64、x64、Vulkan、ROCm、OpenVINO、SYCL 和 HIP,并为 CPU 和 GPU 加速提供了专用二进制文件。此外还提供了一个新的 UI 包。
llama.cpp 版本 b9712 包含对由只读源文件引起的 UI 构建问题的修复。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的预编译二进制文件,支持多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
v2.1.183 通过在没有明确用户同意的情况下阻止破坏性的 git 和 destroy 命令,提高了自动模式的安全性。它添加了模型弃用警告,引入了 attribution.sessionUrl 以隐藏会话链接,并修复了多个问题,包括终端行为、子代理性能以及 web 和 tmux 环境中的输入处理。
llama.cpp b9707版本引入了模式验证和错误消息改进。它包括适用于macOS、Linux、Android、Windows和openEuler的二进制构建,支持多种架构和硬件加速选项。
LangGraph 发布版本 1.2.6,修复了嵌套子图错误继承父级 checkpoint_ns 的回归问题。此次更新还改进了在流中止期间对运行中子图的取消处理,并将 CLI 版本更新至 0.4.30。
llama.cpp 版本 b9703 包括对服务器预设处理的重新设计,移除了远程 HF 预设支持和已弃用的函数。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
llama.cpp 版本 b9704 现在对无效语法返回 HTTP 400,而不是静默丢弃约束。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构和硬件加速器,支持 Vulkan、ROCm、OpenVINO、SYCL 和 CUDA。
llama.cpp 版本 b9702 包含对未转发给子实例的路由器参数的修复。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构和硬件加速选项,包括 Vulkan、ROCm、OpenVINO 和 SYCL。
llama.cpp 版本 b9701 引入了重构的预处理器,新增了 mtmd_image_preproc_out 功能并更新了开发者文档。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,支持多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
llama.cpp 版本 b9700 引入了更新的 SYCL 支持,并重命名了 API 标志:GGML_SYCL_SUPPORT_LEVEL_ZERO 重命名为 GGML_SYCL_SUPPORT_LEVEL_ZERO_API,GGML_SYCL_ENABLE_LEVEL_ZERO 重命名为 GGML_SYCL_USE_LEVEL_ZERO_API。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构和硬件加速选项,包括 Vulkan、ROCm、OpenVINO 和 SYCL。
LLaMA.cpp 版本 b9698 仅在通过 llama-install.sh 构建时启用自更新。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖多种架构和硬件加速选项,包括 Vulkan、CUDA、OpenVINO 和 SYCL。
llama.cpp version b9699 introduces support for MUL_MAT and OUT_PROD operations with Q1_0 precision via PR #24721. The release includes precompiled binaries for macOS, Linux, Android, Windows, and openEuler across multiple architectures and acceleration frameworks, including SYCL (FP32 and FP16), Vulkan, CUDA, ROCm, and OpenVINO.