github llama.cpp · 1 天前 · inference

llama.cpp b11100 修复 Muse Glimmer 工具调用解析器错误

译自 English → 中文

llama.cpp 项目发布了构建版本 b11100，解决了 Muse Glimmer 模型的一个特定解析问题。主要更改涉及修复该模型在执行工具调用期间遇到的第一个解析器错误。

此版本为 macOS、Linux、Windows、Android 和 iOS 提供了更新的二进制文件，支持包括 CPU、CUDA、ROCm、Vulkan 和 OpenVINO 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

llama.cpp 项目发布了版本 b11122，其中包括对 SYCL 后端的重大更新。该版本扩展了 MMVQ GLU 融合以支持混合量化类型，并为 rms_norm+scale 和 ssm_conv+silu 操作引入了新的融合。

llama.cpp 项目发布了版本 b11120，通过隐藏内部符号解决了 Vulkan 后端中的一个关键错误。此更改防止了在导出内部符号时发生的重复 dlopen 状态销毁问题。

研究人员推出了 CliffCompaction，这是一种自动压缩技术，旨在通过截断而非改写的方式保留压缩信息的忠实度，从而在受限上下文条件下将长周期编码智能体的成本降低高达 50%。该方法在 Terminal-Bench 上保持或提升了性能，并在 KernelBench 上取得了最先进结果。

研究人员推出了 CliffCompaction，这是一种专为处理数百万 token 的智能体设计的自动压缩技术，可在有界上下文下将成本降低高达 50%。该方法通过在截断而非改写时保持信息忠实度，在 Terminal-Bench 上维持或提升了性能，并在 KernelBench 上取得了最先进结果。

llama.cpp 项目已发布构建版本 b11118，其中包含一项新的 hex-dma 功能，引入了更适合 Hexagon Vector eXtended (HVX) FA 掩码处理的直接映射 DMA 缓存。