github llama.cpp · 1時間前 · inference

llama.cpp b11005 がグラフ分割を減らすためにゼロ化された rope probe を受け入れる

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11005 をリリースし、supports_op でゼロ化された rope probes を受け入れるための Hexagon バックエンドの修正が含まれています。

以前は、n_dims == 0 または freq_base == 0 の probe を拒否すると rope_freqs が CPU に強制され、不要なグラフ分割が発生していました。この変更によりそのような分割が防止され、gemma-4-E2B などのモデルでの分割数が5から2に減少します。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前 · 2 回表示

llama.cppがHrmTextForCausalLM (DFM Mimir 1B) のサポートを追加

llama.cppプロジェクトは、HrmTextForCausalLMアーキテクチャのサポートを追加し、特にDFM Mimir 1Bモデルの推論を可能にしました。この実装は、同じトークンストリーム上で2つのトランスフォーマースタックを交互に実行するモデルのユニークな構造を処理するために、新しいGGUFライターとローダーを導入しています。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b11001がRISC-Vでのint16転置の破損を修正

llama.cppプロジェクトはビルドb11001をリリースしました。これには、RISC-Vアーキテクチャでint16データを扱う`permute_transpose_impl`関数の重要な修正が含まれています。

github llama.cpp · 10時間前 · 1 回表示

llama.cpp b10995 が Vulkan MUL_MAT_ID の BN/2 テールを無条件にする

llama.cpp プロジェクトはビルド b10995 をリリースし、Vulkan バックエンドの MUL_MAT_ID オペレーションの処理を変更しました。具体的には、BNover2 のデフォルトとして BN/2 を使用し、BNover4 の無効なフォールバックとして使用することで BN/2 テールを無条件にし、そのブランチから有効化ゲートを削除しています。

github llama.cpp · 18時間前 · 2 回表示

llama.cpp b10989がROCmでAllReduceを有効化し、マルチプラットフォームバイナリを提供

llama.cppプロジェクトは、ROCmバックエンド内でAllReduce操作を有効にするサポートを導入したバージョンb10989をリリースしました。このアップデートは、大規模言語モデル推論のためのハードウェア互換性と分散コンピューティング機能を拡大するための継続的な開発の一環です。

github llama.cpp · 23時間前 · 1 回表示

llama.cpp b10988 が推論デコーディング用の OpenCL MoE エキスパート行列乗算選択を追加

llama.cpp プロジェクトはビルド b10988 をリリースし、Mixture of Experts (MoE) モデル用に OpenCL バックエンドに変更を加えました。このアップデートは、推論デコーディングとマルチトークン予測中にバッチサイズに基づいて MoE エキスパート行列乗算を選択するロジックを実装しました。