llama.cpp プロジェクトは、SYCL サポートのために Q2_K 再順序付け MMVQ および ESIMD カーネルを再追加したビルド b10576 をリリースしました。この変更は、これらの特定のカーネル実装を削除していた以前のコミットを実質的に元に戻すものです。

  • リリースには、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x)、Windows、Android 用のバイナリが含まれます。
  • GPU アクセラレーションは、Vulkan、ROCm 7.14、OpenVINO、CUDA 12/13、および SYCL を介して複数のプラットフォームでサポートされています。
  • macOS KleidiAI サポートはこのビルドでは無効のままです。

このアップデートは、SYCL デバイスの特定の量子化カーネルを復元しつつ、さまざまなオペレーティングシステムとハードウェアアクセラレーターに対して包括的なバイナリを提供します。