llama.cpp 项目发布了版本 b9909，在 /responses API 流中引入了时间和进度信息。此更新可在多个平台上使用，包括 macOS、Linux、Windows、Android 和 openEuler。

  • 主要功能更改是在 /responses API 端点的流式输出中添加计时和进度详情。
  • 为各种架构提供了预构建的二进制文件，如 Apple Silicon、Intel x64、ARM64 和 s390x。
  • GPU 支持包括 CUDA 12.4 和 13.3、Vulkan、ROCm 7.2、OpenVINO、SYCL 和 HIP。
  • 此版本中禁用了 macOS Apple Silicon 的 KleidiAI 支持。

此更新允许用户更有效地监控 API 响应的进度。