github llama.cpp · 2時間前 · inference

llama.cpp b10262がVulkanバックエンドにGATED_LINEAR_ATTNを追加

翻訳元 English → 日本語

llama.cppプロジェクトはビルドb10262をリリースし、VulkanバックエンドでGATED_LINEAR_ATTN演算のサポートを導入しました。このアップデートにはVulkan演算のドキュメント更新も含まれ、未使用のGLA仕様定数が削除されました。

Vulkan用のGATED_LINEAR_ATTN演算を実装 (#25601)
Vulkan演算のドキュメントを更新
未使用のGLA仕様定数を削除

このリリースでは、CPU、CUDA、ROCm、OpenVINO、SYCL、およびVulkanバックエンド向けに、macOS、Linux、Windows、Android、iOS用のバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

media Hugging Face Forums · 1時間前ライブ

融合Tritonカーネルを備えたオープンソースの減衰ゲート型O(N)因果線形アテンション

ある開発者が、二次関数的なMHAのボトルネックを回避するために設計された、融合Triton/CUDA状態蓄積カーネルを特徴とする減衰ゲート型O(N)因果線形アテンションアーキテクチャをオープンソースとして公開しました。

github llama.cpp · 4時間前

llama.cpp b10259 でロード中にテンソルの形状変更が可能に

llama.cpp プロジェクトはビルド b10259 をリリースし、ロードプロセス中にテンソルの形状を変更する機能を導入しました。

github llama.cpp · 10時間前

llama.cpp b10256 が SYCL の非連続結合カーネルを並列化

llama.cpp b10256 リリースには、SYCL デバイスの非連続結合カーネルを並列化する変更が含まれています。この更新は、起動ジオメトリを単一レーンのワークグループから `SYCL_CONCAT_BLOCK_SIZE` を使用するものに変更します。

github llama.cpp · 10時間前

llama.cpp b10254がDeepSeek V4 Flash 0731テンプレートを追加し、V4テンプレートを更新

llama.cppプロジェクトはバージョンb10254をリリースし、DeepSeek V4 Flash 0731モデル用の新しいチャットテンプレートを導入するとともに、既存のDeepSeek V4テンプレートを更新しました。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10255がoneDNN SDPAを非FP16 KVキャッシュに拡張

llama.cpp b10255リリースは、Q4_0–Q8_0量子化フォーマットとFP32を含む非FP16キーバリュー（KV）キャッシュをサポートするために、oneDNN SDPAパスを拡張します。この更新により、K/Vテンソルを処理前にデバイス上でデ量子化または密集FP16に変換することで、融合型 systolic カーネルがネイティブFP16パスと同一に実行可能になります。