github llama.cpp · 2日前 · inference

llama.cpp b11232 が x86 でタイルドフラッシュアテンションを有効化

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11232 をリリースし、ggml-cpu バックエンドの更新が含まれています。今回のリリースは、x86 アーキテクチャ上でベクトル倍数ではないヘッド次元に対してタイルドフラッシュアテンションを有効化することに焦点を当てています。

x86 上でベクトル倍数ではないヘッド次元に対してタイルドフラッシュアテンションを有効化。
simd_gemm_ukernel_tail におけるマスク読み込みおよび書き込みの AVX2 サポートを追加。
パディング済み KV タイルに対する FA softcap の処理を修正。

このアップデートにより、CPU、GPU、NPU バックエンド向けに macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 11時間前 · 2 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 20時間前 · 2 回表示

llama.cpp b11266はIntelのVulkan向けにF32 A行列を一度に2つ読み込む

llama.cppプロジェクトは、Vulkanの最適化を含むビルドb11266をリリースしました。この最適化では、2アラインメントされたF32 A行列を一度に2要素ずつ読み込みます。この変更は、浮動小数点数を一つずつ読み込むのが非効率なIntelハードウェアでのパフォーマンス問題を解決し、元のパッチで`a_offset`の整列に関する検証が欠落していた点も修正します。

github llama.cpp · 22時間前 · 1 回表示

llama.cpp b11265 が Vulkan MOE matmul タイル選択を修正

llama.cpp b11265 リリースには、Vulkan バックエンドによる Mixture of Experts (MoE) モデルの処理に関する修正が含まれています。この更新では、`mat_mul_id` が行列乗算タイルを選択する方法が修正され、ディスパッチ中にワーカーがアイドル状態になるパフォーマンスの問題が解消されました。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b11238 が ggml_pad_ext を追加し、左パディングに対応して DFlash2 タップをスキップ

llama.cpp プロジェクトはビルド b11238 をリリースし、新しい `ggml_pad_ext` 関数を通じて統一された左パディング実装を導入しました。この変更により、Parakeet、LFM2-Audio、Granite Speech、Gemma 4 などの音声エンコーダーで以前使用されていた方法が統合され、Gemma 4 の埋め込みがビット単位で同一になることが保証されるとともに、バックエンドのサポートが簡素化されました。

github llama.cpp · 2日前 · 3 回表示

llama.cpp b11228 が Metal GGML_OP_PAD に左側および円形パディングのサポートを追加

llama.cpp b11228 リリースは、Metal バックエンドの GGML_OP_PAD 操作において左側および円形パディングのサポートを導入し、CPU、CUDA、Vulkan の実装と整合させました。この変更により、置換されたソースの右側パディングの問題が修正され、異なるハードウェアバックエンド間で一貫した動作が保証されます。