llama.cppプロジェクトは、VoltaおよびTuringアーキテクチャのGPUでCUDAグラフの有効化をサポートするバージョンb10042をリリースしました。

  • このリリースには、macOS（Apple SiliconとIntel）、Linux（Ubuntu x64、arm64、s390x）、Android（arm64）、Windows（CPU、OpenCL、Vulkan、ROCm、SYCL、HIP）、およびopenEuler用のバイナリが含まれています。
  • CUDAサポートは、Windows x64用のCUDA 12.4およびCUDA 13.3 DLLによって提供されます。
  • このバージョンでは、KleidiAIを搭載したmacOS Apple Siliconビルドは明示的に無効化されています。
  • openEulerサポートにはx86とaarch64のバリアントが含まれており、910bバリアントではACL Graphが有効になっています。

このアップデートにより、古いNVIDIA GPUアーキテクチャのユーザーは、パフォーマンス向上の可能性のためにCUDAグラフを利用できるようになります。