llama.cppプロジェクトはバージョンb9985をリリースし、SYCL向けのfused top-k Mixture of Experts (MoE)実装を導入しました。このアップデートはレビューフィードバックに対応し、fusion dispatch logicを移動し、GGML_SYCL_ENABLE_FUSION環境変数経由で公開しました。

  • SYCLバックエンド用のfused top-k MoEサポートを追加。
  • GGML_SYCL_ENABLE_FUSION環境変数を通じてfusion dispatch制御を設定。
  • 他の環境変数と同様に、起動ログにGGML_SYCL_ENABLE_FUSIONのステータスを出力するように更新。
  • macOS Apple SiliconビルドからのKleidiAIサポートを無効化。

今回のリリースでは、CPU、GPU(CUDA、Vulkan、ROCm、OpenCL)、およびAIアクセラレーターバックエンド向けに、macOS、Linux、Windows、Android、openEuler向けのバイナリが提供されています。