github llama.cpp · 2時間前 · inference

llama.cpp b10813がAdreno xmem SDPAパスを追加し、数値エラーを修正

翻訳元 English → 日本語

llama.cppプロジェクトはビルドb10813をリリースし、xmem SDPA（Scaled Dot-Product Attention）パスを使用してAdreno GPU用のOpenCL実装を導入しました。このアップデートでは、GQAおよびマスクされた注意機構の数値エラーも修正されています。

OpenCL加速用のAdreno xmem SDPAパスを追加。
Adreno固有のキュープロファイリングオーバーライドを削除。
GQAおよびマスクされた注意の数値エラーを修正。
機能を制御するためのGGML_OPENCL_XMEM_SDPA環境変数を導入。

リリースでは、CPU、GPU、専用ハードウェアバックエンド向けにmacOS、Linux、Windows、Android、openEulerのバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10814 が OpenCL の要素ごとの演算とデータ移動のカバレッジを拡張

llama.cpp b10814 リリースは、9つの新しい要素ごとの単項演算を追加し、データ移動カーネルを改善することで、OpenCL バックエンドのサポートを拡大します。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10816がM3 fa-vecチューニングと新しいバイナリを追加

llama.cppプロジェクトはバージョンb10816をリリースしました。これにはApple Siliconデバイス向けのMetalバックエンドの更新が含まれます。今回のリリースは、M3チップアーキテクチャ専用の残りのfast-vectorチューニングの追加に焦点を当てています。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp 0.4.0がQwen3.8-Flash-NextおよびNemotron-3-Puzzleのサポートを追加

llama.cpp バージョン 0.4.0 は、Qwen3.8-Flash-Next および NVIDIA Nemotron-3-Puzzle-75B-A9B モデルの初期アーキテクチャサポートを導入し、基盤となる ggml ライブラリをバージョン 0.23.0 にアップグレードしました。

github llama.cpp · 8時間前 · 1 回表示

llama.cpp b10798 でビルド情報出力ストリームを構成可能に

llama.cpp プロジェクトはバージョン b10798 をリリースし、ビルド情報出力ストリームを構成可能にする変更を導入しました。この更新により、`llama_print_build_info` は stderr をハードコードするのではなく、呼び出し元が提供した FILE* に書き込めるようになりました。

github llama.cpp · 16時間前 · 1 回表示

llama.cpp b10796 が Nemotron-3-Puzzle の読み込みを修正するために n_expert_used_max を追加

llama.cpp プロジェクトはビルド b10796 をリリースしました。これには、レイヤーごとの専門家の数が異なるモデルをサポートするためのモデルローダーの変更が含まれています。