llama.cppプロジェクトはバージョンb9968をリリースし、Qualcomm Adreno GPU向けのOpenCL最適化を導入しました。このアップデートにより、OpenCLバックエンドにint8 dp4密集行列乗算とMixture of Experts (MoE) GEMMの機能が追加されました。
- OpenCL経由でAdreno GPU向けにint8 dp4密集およびMoE GEMMサポートを追加。
- アップデートの一環としてOpenCLコードベースのリファクタリングを実施。
- このリリースでは、KleidiAIを搭載したmacOS Apple Siliconは無効化されています。
- CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL、HIPバックエンド向けに、macOS (Apple SiliconおよびIntel)、Linux、Android、Windows、openEulerのバイナリが提供されています。
このリリースでは、各プラットフォーム向けの更新されたバイナリを提供しつつ、AdrenoモバイルGPU向けの特定の性能最適化を有効にしています。