llama.cpp 项目发布了构建版本 b10182,其中包含对令牌抑制管理方式的结构性更改。主要修改涉及将 `suppress_tokens` 处理逻辑移入 `common/sampling` 模块。

  • `has_logit_bias` 功能已从代码库中移除。
  • 此次发布解决了与先前实现相关的安全问题。
  • 提供了适用于 macOS (Apple Silicon 和 Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、OpenVINO、SYCL、HIP) 和 openEuler 的二进制文件。

此更新整合了采样逻辑,并解决了令牌抑制机制中的特定安全问题。