llama.cppプロジェクトはバージョンb10816をリリースしました。これにはApple Siliconデバイス向けのMetalバックエンドの更新が含まれます。今回のリリースは、M3チップアーキテクチャ専用の残りのfast-vectorチューニングの追加に焦点を当てています。

  • fa_vec_tuned_tableにM3エントリを追加。
  • ggml-metal-tuningにq4_0、q4_1、q5_0、q5_1の量子化を含める。
  • macOS（Apple SiliconおよびIntel）、iOS、Linux、Windows、Android、openEuler向けのバイナリを提供。
  • CPU、Vulkan、ROCm 10.0、OpenVINO、SYCL、CUDA 12/13、OpenCL Adrenoを含むさまざまなバックエンドをサポート。

このアップデートにより、M3ハードウェアの最適化されたパフォーマンスが確保され、複数のOSおよびGPUアーキテクチャでビルド済みバイナリの利用可能性が拡大します。