llama.cppプロジェクトは、ggmlライブラリとの同期がバージョン0.21.0に引き上げられたバージョン0.2.0をリリースしました。このアップデートでは、さまざまなハードウェアプラットフォームにわたるバックエンドの改善と新機能がいくつか導入されました。
- 互換性のあるハードウェアでのパフォーマンス向上のため、Kleidiai SME2 F32 GEMVカーネルサポートを追加しました。
- 複数GPUへの分散を改善するため、LFM2およびLFM2MOEモデルのテンソル分割機能を有効化しました。
- モデル読み込みパイプライン内でLFM2モデルのDSparkサポートを実装しました。
- Q2_K再配置MMVQ、ESIMDカーネル、Alchemist GPUおよびmlockの問題に対する修正を含むSYCLバックエンドを更新しました。
- Adreno A6x/A7xコンパイラおよびローカルサイズ計算の修正によりOpenCLの安定性を向上させました。
- マルチモーダル投影のデバイス配置を指定するためのmtmdへの--mmproj-device引数を追加しました。
今回のリリースには、CIのクリーンアップ、UI設定ナビゲーションの改善、CUDA、Metal、Vulkanバックエンドに対するさまざまなバグ修正も含まれています。