llama.cpp プロジェクトは、Apple M4 ハードウェア向けの特定の性能最適化を含むビルド b10673 をリリースしました。このアップデートは、Metal バックエンドの効率を向上させるために ggml-metal-tuning モジュールに fa_vec_tuned_table レコードを導入します。

  • 10 GPU コアを持つ M4 チップ上の F16、Q4_0、Q4_1、Q5_0、Q5_1、Q8_0 の量子化に対して調整済みルックアップテーブルを追加します。
  • macOS Apple Silicon (arm64)、macOS Intel (x64)、および iOS XCFramework 用のバイナリを提供します。
  • CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL バックエンドに対応する Ubuntu x64 および arm64 用の Linux ビルドを含みます。
  • CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、および ROCm 7.14 用の Windows バイナリを提供します。
  • Android arm64 (CPU) サポートと UI バイナリを追加します。

このリリースにより、Apple M4 デバイスのユーザーは高速な推論のために最適化された Metal カーネルを活用できます。