llama.cpp b10614 リリースは、操作のソースを分割し並列コンパイルを有効にすることで、Metal バックエンドに重要なアーキテクチャ変更を導入しました。このアップデートには、いくつかの新しいカーネル実装と追加の量子化フォーマットのサポートも含まれています。
- metallib を 8 つのライブラリに分割し、ビルド時間を改善するために並列でロードします。
- f32、f16、bf16 データ型をサポートする col2im_1d 操作を追加します。
- Metal 用の CONV_2D_DW（深層畳み込み）サポートを実装します。
- Q2_0 量子化フォーマットのサポートを追加します。
- snake 活性化操作 (mul、sin、sqr、mul、add) を融合します。
- Metal バックエンド用に FWHT カーネルを導入します。
このリリースでは、macOS、iOS、Linux、Windows、Android、openEuler 向けに、CPU、GPU、および各種アクセラレーターバックエンド用のプリコンパイル済みバイナリが提供されます。