github llama.cpp · 17時間前 · inference

llama.cpp b10883 が Vulkan 行列乗算を修正し、Ampere の最適化を復元

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10883 をリリースしました。これには Vulkan バックエンドの重要な更新が含まれています。主な変更点は、シェーダーのコンパイルとパフォーマンスを向上させるために、行列-行列乗算 A 型演算に仕様定数を使用することです。

Vulkan シェーダーで mul mat type_a に仕様定数を使用する。
共有メモリテーブルを統合し、タイプ仕様定数によってサイズを削減する。
Ampere の回帰を修正するために coopmat2 q4_k/q5_k の最適化を復元し、シェーダーを分離する。
cm2 行列乗算で欠落していた Q2_0 タイプを修正し、f16 Intel のチューニング変更に対応させる。
最小共有メモリサイズ 8 を使用して cm2 コンパイラのバグを回避する。

このリリースでは、CPU、GPU、専用ハードウェアバックエンド向けに、macOS、Linux、Windows、Android、openEuler 用の更新されたバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10888 が GPU プロファイラー用の Vulkan コマンドバッファデバッグラベルを追加

llama.cppプロジェクトは、VulkanバックエンドでGPUプロファイラー用のコマンドバッファデバッグラベルを追加する新機能を含むビルドb10888をリリースしました。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10886 が s390x 向けに Q1_0 ベクトル組み込みサポートを追加

llama.cpp プロジェクトはビルド b10886 をリリースし、s390x アーキテクチャ向けの Q1_0 ベクトル組み込みサポートを導入しました。このアップデートには `ggml_vec_dot_q1_0_q8_0` の実装が含まれ、新しい機能を反映するためにドキュメントが更新されました。

github llama.cpp · 1日前 · 2 回表示

llama.cpp b10870 が Intel coopmat1 向けに f16 B型行列乗算パイプラインと warp タイル調整を追加

llama.cpp プロジェクトはバージョン b10870 をリリースし、Intel coopmat1 ハードウェア用に f16 B型行列乗算パイプラインとワープタイルサイズ調整の Vulkan サポートを導入しました。

github llama.cpp · 1日前 · 2 回表示

llama.cpp b10871 が Vulkan 用の専用 iq4_xs mat-vec シェーダーを追加

llama.cpp プロジェクトはビルド b10871 をリリースし、Vulkan の dmmv パス用に専用の mul_mat_vec_iq4_xs シェーダーを導入しました。この変更は、RDNA4 ハードウェアのパフォーマンスを向上させるために、以前の汎用のフォールバック実装に置き換えます。

github llama.cpp · 2日前 · 1 回表示

llama.cpp b10863、Metalのmul_mv_iq3_xxsにおける小行列のアイドルスレッドを修正

llama.cppプロジェクトはビルドb10863をリリースしました。これは、`ne00`が1024未満の場合にMetal上の`mul_mv_iq3_xxs`カーネルでアイドルスレッドの問題を修正したものです。この更新では、特定の行列次元に対して個別の分割カーネルを導入することで、半分のアイドル状態となるsimdgroupの問題に対処しています。