github llama.cpp · 2日前 · inference

llama.cpp b10852 が Hexagon に RELU および LEAKY_RELU 演算を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10852 をリリースし、Hexagon バックエンド内で RELU および LEAKY_RELU 演算のサポートを導入しました。

hexagon 実装に RELU 演算を追加。
hexagon 実装に LEAKY_RELU 演算を追加。
macOS (Apple Silicon および Intel)、Linux (Ubuntu with CPU, Vulkan, ROCm, OpenVINO, SYCL)、Android、Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm)、および openEuler のバイナリを提供。

このアップデートにより、ユーザーはこれらの活性化関数を利用するモデルを Hexagon 対応ハードウェアで実行できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cppプロジェクトは、VulkanバックエンドでGPUプロファイラー用のコマンドバッファデバッグラベルを追加する新機能を含むビルドb10888をリリースしました。

llama.cpp プロジェクトはビルド b10886 をリリースし、s390x アーキテクチャ向けの Q1_0 ベクトル組み込みサポートを導入しました。このアップデートには `ggml_vec_dot_q1_0_q8_0` の実装が含まれ、新しい機能を反映するためにドキュメントが更新されました。

llama.cpp プロジェクトはビルド b10883 をリリースしました。これには Vulkan バックエンドの重要な更新が含まれています。主な変更点は、シェーダーのコンパイルとパフォーマンスを向上させるために、行列-行列乗算 A 型演算に仕様定数を使用することです。

llama.cpp プロジェクトはバージョン b10870 をリリースし、Intel coopmat1 ハードウェア用に f16 B型行列乗算パイプラインとワープタイルサイズ調整の Vulkan サポートを導入しました。

llama.cpp プロジェクトはビルド b10871 をリリースし、Vulkan の dmmv パス用に専用の mul_mat_vec_iq4_xs シェーダーを導入しました。この変更は、RDNA4 ハードウェアのパフォーマンスを向上させるために、以前の汎用のフォールバック実装に置き換えます。