llama.cpp プロジェクトは、OpenCL バックエンドの変更を含むバージョン b10064 をリリースしました。このアップデートは、noshuffle scales を転置して結合読み込みを有効にすることで、q4_K 量子化フォーマットを変更します。

  • リリースには、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x)、Windows (CPU、CUDA 12/13、Vulkan、ROCm、SYCL、HIP)、Android、および iOS のバイナリが含まれています。
  • Windows arm64 用の OpenCL Adreno サポートが利用可能です。
  • macOS Apple Silicon での KleidiAI サポートは、このビルドでは無効のままです。
  • このアップデートは、特定の量子化レイヤーのメモリアクセスパターンを最適化することでパフォーマンスに対処します。