github llama.cpp · 2時間前 · inference

llama.cpp b11413 が量子化されたK/V向けのVulkanスパースフラッシュアテンションを追加

翻訳元 English → 日本語

llama.cpp b11413 リリースは、量子化されたKeyおよびValueテンソルをサポートする新しいVulkan実装のスパースフラッシュアテンションを導入しました。この更新は、大きなコンテキストウィンドウを持つデコーディングタスクにはコストが高すぎた以前の圧縮方法のパフォーマンス問題を解決します。

新しいアプローチは、行を連続したセグメントに分割し、サブグループまたはスレッドによって処理されます。昇順のインデックスリストを維持するために、協調ロード上の投票カウントを使用します。
macOS（Apple SiliconおよびIntel）、Linux（CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon）、Windows（CPU、Vulkan、CUDA、OpenVINO、SYCL、ROCm）、Android、iOS用のビルド済みバイナリが利用可能です。
リリースにはllama.cpp UIとセキュリティ検証のためのアテストも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 5日前 · 37 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 8日前 · 30 回表示

llama.cpp b11207 が Hexagon 向けに Q4_0 および Q8_0 GET_ROWS のタイルサポートを追加

llama.cpp プロジェクトはビルド b11207 をリリースし、Hexagon バックエンドで Q4_0 と Q8_0 の GET_ROWS 操作のタイルサポートを導入しました。このアップデートには、マクロ、レジスタスパイル、DMA パイプラインの修正に加え、カーネル選択ロジックの改善とベクトル化の再有効化が含まれています。

github llama.cpp · 12日前 · 30 回表示

llama.cpp v0.5.0がHRM-Textサポート、CUDA conv2dの高速化、マルチアドレスバインディングを追加

llama.cppプロジェクトはバージョン0.5.0をリリースし、バックエンドのパフォーマンス、より広範なモデル対応、そしてより堅牢なサーバー運用に焦点を当てています。このアップデートでは、HRM-Text (DFM Mimir 1B) や MiMo-V2.6 といった新しいアーキテクチャのサポートを導入し、CUDA および Metal の最適化を通じて計算効率を大幅に向上させました。

github llama.cpp · 12日前 · 41 回表示

llama.cpp b11122 が MMVQ GLU 融合を拡張し、新しい SYCL 融合を追加

llama.cpp プロジェクトはバージョン b11122 をリリースしました。これには SYCL バックエンドの重要な更新が含まれています。このリリースでは、MMVQ GLU 融合が混合量子化タイプをサポートするように拡張され、rms_norm+scale および ssm_conv+silu 演算のための新しい融合が導入されました。

github llama.cpp · 13日前 · 37 回表示

llama.cppがHunyuanOCRのDFlashサポートを追加し、ドラフト変換を修正

llama.cppプロジェクトは、ターゲットグラフ内のレイヤー入力テンソルを公開することで、HunyuanOCRモデルとのDFlash推測デコーディングのサポートを追加しました。この変更により、ドラフトモデルが残差ストリームを読み取れるようになり、非推測実行と比較して約0.5のドラフト受容率とバイトレベルで同一のOCR出力を得ながら、画像リクエストを正常に実行できるようになりました。