llama.cppプロジェクトはバージョンb10032をリリースし、GGML_OP_LIGHTNING_INDEXER演算の新しいCUDA実装を導入しました。このアップデートには、NVIDIAハードウェアでのインデックス処理に対応する汎用ベクトルとWMMAカーネルが含まれています。
- CUDAライトニングインデクサは汎用ベクトルとWMMAカーネルを使用します。
- 定数の重複を減らすために、テンプレートパラメータWARPS_PER_BLOCKとK_VECS_PER_BLOCKが追加されました。
- Turing GPUをサポートするためにMMAアーキテクチャの要件が緩和されました。
- QおよびKテンソルのアライメントチェックが実装に追加されました。
- 関数ggml_cuda_op_lightning_indexerはggml_cuda_lightning_indexerに名前変更されました。
このリリースでは、CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL、その他のバックエンドに対応するmacOS、Linux、Windows、Android、openEuler向けのバイナリが提供されています。