llama.cppプロジェクトはバージョンb9994をリリースしました。これはプルリクエスト#25419を通じてQ2_0量子化サポートを導入しています。このアップデートにより、macOS、Linux、Windows、Android、openEuler向けのプリビルドバイナリが、さまざまなハードウェアバックエンドで提供されます。

  • MetalバックエンドにQ2_0サポートを追加。
  • macOS/iOS Apple SiliconビルドにおけるKleidiAIサポートを無効化。
  • CPU、Vulkan、CUDA (12.4および13.3)、ROCm、OpenVINO、SYCL、HIP、OpenCL Adreno向けのバイナリを提供。
  • リリースにiOS XCFrameworkとUIパッケージを含める。