github llama.cpp · 2時間前 · inference

llama.cpp b10269がロード時のdflash wo_aの再整形を修正

翻訳元 English → 日本語

llama.cppプロジェクトは、モデル読み込み時のdflash wo_aの再整形問題に対する修正を含むビルドb10269をリリースしました。

このリリースでは、macOS（Apple SiliconおよびIntel）、iOS、Linux（Ubuntu x64、arm64、s390x。CPU、Vulkan、ROCm 7.2、OpenVINO、SYCLバックエンド付き）、Android（arm64）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）、openEuler（ACL Graph付きx86およびaarch64）向けのバイナリが提供されます。

正しいモデル読み込み動作を確保するため、この更新はすべてのサポート対象プラットフォームでダウンロード可能です。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

media Hugging Face Forums · 4時間前

融合Tritonカーネルを備えたオープンソースの減衰ゲート型O(N)因果線形アテンション

ある開発者が、二次関数的なMHAのボトルネックを回避するために設計された、融合Triton/CUDA状態蓄積カーネルを特徴とする減衰ゲート型O(N)因果線形アテンションアーキテクチャをオープンソースとして公開しました。

github llama.cpp · 5時間前

llama.cpp b10262がVulkanバックエンドにGATED_LINEAR_ATTNを追加

llama.cppプロジェクトはビルドb10262をリリースし、VulkanバックエンドでGATED_LINEAR_ATTN演算のサポートを導入しました。このアップデートにはVulkan演算のドキュメント更新も含まれ、未使用のGLA仕様定数が削除されました。

github llama.cpp · 7時間前

llama.cpp b10259 でロード中にテンソルの形状変更が可能に

llama.cpp プロジェクトはビルド b10259 をリリースし、ロードプロセス中にテンソルの形状を変更する機能を導入しました。

github llama.cpp · 13時間前

llama.cpp b10256 が SYCL の非連続結合カーネルを並列化

llama.cpp b10256 リリースには、SYCL デバイスの非連続結合カーネルを並列化する変更が含まれています。この更新は、起動ジオメトリを単一レーンのワークグループから `SYCL_CONCAT_BLOCK_SIZE` を使用するものに変更します。

github llama.cpp · 13時間前

llama.cpp b10254がDeepSeek V4 Flash 0731テンプレートを追加し、V4テンプレートを更新

llama.cppプロジェクトはバージョンb10254をリリースし、DeepSeek V4 Flash 0731モデル用の新しいチャットテンプレートを導入するとともに、既存のDeepSeek V4テンプレートを更新しました。