llama.cppプロジェクトはビルドb10043をリリースし、CUDA Virtual Devicesのサポートを導入しました。このアップデートでは、仮想デバイスが利用される際にNCCLパスが無効化され、コードのリファクタリングとラベル付きの仮想デバイスの説明が含まれています。

  • バックエンドにCUDA Virtual Devicesのサポートが追加されました。
  • 仮想デバイスが使用されている場合、NCCL通信パスは無効になります。
  • 仮想デバイスには説明文にラベルが付けられ、GPUx2サーバーCIジョブが追加されました。
  • macOS (Apple SiliconおよびIntel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEuler用のバイナリが提供されています。

このリリースにより、ユーザーはCUDA Virtual Devicesを利用するシステムでllama.cppを実行可能になり、幅広いハードウェアアーキテクチャとオペレーティングシステムとの互換性が維持されます。