llama.cpp 项目发布了构建版本 b10709，解决了 RPC 子系统中关于跨服务器通信期间如何处理张量缓冲区的关键问题。

  • 核心更改通过仅在缓冲区属于接收图形的 RPC 调度程序时才包含远程缓冲区指针，防止序列化属于其他服务器的缓冲区。
  • 添加了双服务器回归测试，以验证跨服务器张量序列化的正确行为。
  • 预构建二进制文件适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）、Android 和 iOS。

此修复通过防止不同 RPC 服务器之间的错误缓冲区共享，确保分布式推理设置中的数据完整性。