llama.cppプロジェクトはバージョンb9940をリリースし、`llama-bench`における`params.offline`パラメータの初期化を導入しました。このアップデートには、複数のオペレーティングシステムとハードウェアアクセラレータにわたる包括的なビルド済みバイナリのセットが伴います。

  • macOS Apple Silicon (arm64) および Intel (x64) ビルドが利用可能ですが、KleidiAIサポートは無効化されています。
  • Linuxバイナリには、Ubuntu x64およびarm64 CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16が含まれます。
  • Windowsリリースには、CPU、OpenCL Adreno、CUDA 12.4/13.3、Vulkan、OpenVINO、SYCL、HIPの各バリアントが含まれます。
  • モバイルデプロイメント用にAndroid arm64 (CPU) および iOS XCFrameworkバイナリが提供されます。
  • ACL Graphサポートを備えたx86およびaarch64アーキテクチャ向けのopenEulerビルドも含まれています。

このリリースでは、ローカルモデル推論のための広範なクロスプラットフォーム互換性とともに、オフラインパラメータのベンチマーク用のツールリングが更新されています。