llama.cpp 项目发布了构建版本 b10642，其中引入了在键值 (KV) 单元内跟踪令牌 ID 的更改。

  • 核心更新涉及在 KV 单元实现中添加令牌 ID 跟踪。
  • `get_prev_tokens` 函数已从该特定提交中移除，并移至主拉取请求 #27762。
  • 提供了适用于 macOS (Apple Silicon 和 Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL) 和 openEuler 的二进制文件。

此版本在内部修改 KV 单元的同时，为多个平台提供了更新的二进制文件。