github llama.cpp · 2時間前 · inference

llama.cppが数行のMMA行列乗算をBF16、Q2_K、その他の形式に拡張

翻訳元 English → 日本語

llama.cppプロジェクトは、汎用の数行の行列乗算（MMA）カーネルを拡張し、BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0、および各種IQ形式を含む追加のソースデータ型をサポートしました。この更新により、最適化されたカーネルは16ビット重みのデ量子化子を持つ任意の型を処理できるようになり、パフォーマンスが既存のカーネルを上回り始めるM3 Ultraハードウェアでは特定の行数しきい値が適用されます。

新しいサポート対象にはBF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0、およびIQ形式が含まれます。
型ごとにパフォーマンスのしきい値が異なります：TQ2_0は5行、BF16は4行、MXFP4/Q2_0/Q2_K/IQ4_NLは3行、その他は2行です。
M3 Ultraでのベンチマーク結果では、行数やカーネルの重複度に応じてパフォーマンス比が0.23から1.01の範囲で変動しました。

この変更により、低行数におけるMMAカーベルの能力を活用し、より広範な量子化フォーマットに対する推論効率を向上させます。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 3時間前 · 1 回表示

llama.cppがGLM5-NextのMTPサポートを追加し、NextNグラフを最適化

llama.cppプロジェクトは、GLM5-Nextのマルチトークン予測（MTP）ヘッドのサポートを追加し、その特定のアーキテクチャ要件に対応する新しいグラフ構造を実装しました。このアップデートには、Headlessフォワード中にデッドな計算をスキップし、隠れ層の行を正しく抽出できるようにするためのNextNブロックの最適化が含まれています。

github llama.cpp · 6時間前 · 1 回表示

llama.cpp b11463 が MKL flash attention で GLM MLA プリフィルを高速化

llama.cpp b11463 リリースには、以前ディスパッチャーによって拒否されていた GLM-4.7 Flash の特定の Multi-Latent Attention (MLA) 形状に対して MKL flash attention を有効にする SYCL アップデートが含まれています。

github llama.cpp · 2日前 · 27 回表示

llama.cpp b11413 が量子化されたK/V向けのVulkanスパースフラッシュアテンションを追加

llama.cpp b11413 リリースは、量子化されたKeyおよびValueテンソルをサポートする新しいVulkan実装のスパースフラッシュアテンションを導入しました。この更新は、大きなコンテキストウィンドウを持つデコーディングタスクにはコストが高すぎた以前の圧縮方法のパフォーマンス問題を解決します。

github llama.cpp · 7日前 · 44 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 10日前 · 33 回表示

llama.cpp b11207 が Hexagon 向けに Q4_0 および Q8_0 GET_ROWS のタイルサポートを追加

llama.cpp プロジェクトはビルド b11207 をリリースし、Hexagon バックエンドで Q4_0 と Q8_0 の GET_ROWS 操作のタイルサポートを導入しました。このアップデートには、マクロ、レジスタスパイル、DMA パイプラインの修正に加え、カーネル選択ロジックの改善とベクトル化の再有効化が含まれています。