llama.cppプロジェクトはバージョンb9901をリリースし、Intelハードウェアでのパフォーマンス向上のためにSYCLバックエンドに特定の変更を加えました。このリリースでは、CPU、CUDA、ROCm、Vulkan、その他のバックエンド向けに、macOS、Linux、Windows、Android、openEuler向けのバイナリが提供されています。
- GPU利用率を向上させるため、DMMVパスでK_QUANTS_PER_ITERATIONを1に設定します。
- 再順序付け機能を有効にするため、ggml_sycl_supports_reorder_dmmvゲートを修正しました。
- 適切な割り当てを確保するため、ggml_backend_sycl_buffer_init_tensorに不足していた型を追加しました。
- SYCL操作においてQK_5のQK_WARP_SIZEをWARP_SIZEに置き換えました。
これらの変更により、Intel B70 GPUでのトークン毎秒数（tg t/s）が大幅に向上しました。