llama.cpp プロジェクトはバージョン b10628 をリリースし、リモートプロシージャコール(RPC)トランスポートメカニズムとして Apple RDMA のサポートを導入しました。

  • Apple RDMA を RPC トランスポートオプションとして追加。
  • CR ごとに set_tensor マイクロ最適化と RPC ソケットピンニングを削除。
  • 透過的な再接続機能を削除。
  • RPC 変更時に Apple ビルドをトリガーするように CI を構成。
  • CPU、GPU、および専用ハードウェアバックエンド向けに、macOS、iOS、Linux、Windows、Android、openEuler のバイナリを提供。