llama.cpp プロジェクトはビルド b10709 をリリースし、RPC サブシステムにおけるクロスサーバー通信中のテンソルバッファの処理に関する重要な問題を解決しました。

  • 主要な変更により、バッファがグラフを受信する RPC ディスパッチャに属している場合にのみリモートバッファポインタを含めることで、他のサーバーに属するバッファのシリアライズを防ぎます。
  • クロスサーバーテンソルシリアライズの正しい動作を確認するために、2サーバーの回帰テストが追加されました。
  • macOS（Apple Silicon および Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）、Android、および iOS のためのビルド済みバイナリが利用可能です。

この修正により、異なる RPC サーバー間の誤ったバッファ共有を防ぐことで、分散推論設定におけるデータ整合性が確保されます。