llama.cpp プロジェクトはビルド b10322 をリリースしました。これには、SYCL バックエンドで SSM_CONV ウィンドウ読み込みを結合するパフォーマンス最適化が含まれています。

  • Arc Pro B70 において、インターリーブされた A/B テストでは、特定のテンソル形状で 1.85倍 から 1.87倍 の高速化が確認され、n_t=1 では無視できる変化にとどまりました。
  • 64 ブロックのうち 48 で ssm_conv を実行する Qwen35 27B Q4_K - Medium モデルでのベンチマークは、プロンプト処理時間の +2.2% の改善を示しました。
  • このリリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL)、Android、Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP)、および openEuler 用のバイナリが提供されています。

このアップデートは、互換性のあるハードウェアで SSM_CONV 操作を利用するワークロードの推論スループットを向上させます。