llama.cpp プロジェクトはバージョン b9852 をリリースし、q1_0 量子化フォーマットに対する初期の OpenCL サポートを導入しました。このアップデートには、一般的な q1_0 の機能と、OpenCL デバイス用の特定の Adreno GEMM/GEMV 実装が含まれています。

  • q1_0 量子化に対する初期の OpenCL サポート
  • q1_0 用の Adreno GEMM/GEMV カーネルを追加
  • macOS Apple Silicon (arm64) のバイナリを提供
  • このリリースでは macOS Apple Silicon 上の KleidiAI は無効化されています
  • Ubuntu 向けに CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL のビルドが利用可能
  • Windows ビルドには CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP、OpenCL Adreno が含まれる
  • Android arm64 (CPU) のバイナリをリリース
  • ACL Graph を有効化した x86 および aarch64 アーキテクチャ向けの openEuler サポート

このリリースは、OpenCL デバイスでの効率的な q1_0 推論を可能にすることでハードウェアの互換性を拡大し、複数のオペレーティングシステムとアクセラレーターにわたって更新されたバイナリを提供します。