llama.cppプロジェクトはバージョンb10408をリリースし、Intel GPU用のDMMV Q3_K ESIMDカーネルを導入しました。このリリースには、新しいQ4_KおよびQ6_K ESIMDカーネルも含まれており、ESIMDの制御をコンパイル時ではなくランタイムで可能にするためにコードベースがリファクタリングされました。

  • DMMV Q3_K、Q4_K、およびQ6_K ESIMDカーネルを追加。
  • ESIMDの制御をコンパイル時の設定からランタイムに移行。
  • 利用可能な場合はESIMDをデフォルトで使用し、このデフォルト動作に関連する潜在的なエラーを修正。
  • ESIMDカーネル用の明示的なアンロールディレクティブを含め、カーネルコードを整理。

このアップデートにより、CPU、CUDA、Vulkan、OpenCL、ROCm、およびSYCLバックエンド向けに、macOS、Linux、Windows、Android、およびopenEulerのバイナリが提供されます。