llama.cpp 项目发布了版本 b9910，解决了服务器组件中草稿模型拟合与加载之间的关键不一致问题。此更新包括对草稿模型加载期间进度回调节流问题的修复，并对推测性初始化进行了重构。

  • 统一了草稿/多令牌预测参数初始化、模型和上下文加载。
  • 将推测性初始化逻辑移至 speculative.cpp。
  • 更改 server_context_impl model_dft 和 ctx_dft 以使用原始指针。
  • 在此版本中禁用了 macOS Apple Silicon KleidiAI 支持。
  • 提供适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler 的二进制文件。

此版本通过修正底层初始化机制，确保在使用推测性解码时服务器运行稳定。