github llama.cpp · 1時間前 · inference

llama.cpp b11463 が MKL flash attention で GLM MLA プリフィルを高速化

翻訳元 English → 日本語

llama.cpp b11463 リリースには、以前ディスパッチャーによって拒否されていた GLM-4.7 Flash の特定の Multi-Latent Attention (MLA) 形状に対して MKL flash attention を有効にする SYCL アップデートが含まれています。

この変更により、576/576/512 GQA-20 F16 形状が MKL パイプラインに受け入れられ、V cache が K 行のストライドビューとして処理されます。
メモリトラフィックを削減するために MKL flash attention のスコアを F16 で保存する試みが含まれていましたが、このビルドで後に元に戻されました。
Intel Arc Pro B70 において、MLA 最適化によりプロンプト処理 (pp8192) が 432.80 から 1292.29 tok/s に改善され、2.99倍の高速化を実現しました。
このリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL のバックエンド向けに、macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 2日前 · 27 回表示

llama.cpp b11413 が量子化されたK/V向けのVulkanスパースフラッシュアテンションを追加

llama.cpp b11413 リリースは、量子化されたKeyおよびValueテンソルをサポートする新しいVulkan実装のスパースフラッシュアテンションを導入しました。この更新は、大きなコンテキストウィンドウを持つデコーディングタスクにはコストが高すぎた以前の圧縮方法のパフォーマンス問題を解決します。

github llama.cpp · 7日前 · 44 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 10日前 · 33 回表示

llama.cpp b11207 が Hexagon 向けに Q4_0 および Q8_0 GET_ROWS のタイルサポートを追加

llama.cpp プロジェクトはビルド b11207 をリリースし、Hexagon バックエンドで Q4_0 と Q8_0 の GET_ROWS 操作のタイルサポートを導入しました。このアップデートには、マクロ、レジスタスパイル、DMA パイプラインの修正に加え、カーネル選択ロジックの改善とベクトル化の再有効化が含まれています。

github llama.cpp · 14日前 · 47 回表示

llama.cpp v0.5.0がHRM-Textサポート、CUDA conv2dの高速化、マルチアドレスバインディングを追加

llama.cppプロジェクトはバージョン0.5.0をリリースし、バックエンドのパフォーマンス、より広範なモデル対応、そしてより堅牢なサーバー運用に焦点を当てています。このアップデートでは、HRM-Text (DFM Mimir 1B) や MiMo-V2.6 といった新しいアーキテクチャのサポートを導入し、CUDA および Metal の最適化を通じて計算効率を大幅に向上させました。

github llama.cpp · 14日前 · 53 回表示

llama.cpp b11122 が MMVQ GLU 融合を拡張し、新しい SYCL 融合を追加

llama.cpp プロジェクトはバージョン b11122 をリリースしました。これには SYCL バックエンドの重要な更新が含まれています。このリリースでは、MMVQ GLU 融合が混合量子化タイプをサポートするように拡張され、rms_norm+scale および ssm_conv+silu 演算のための新しい融合が導入されました。