github llama.cpp · 3時間前 · inference

llama.cpp b11043 で head_dim=72 の HMX flash-attention が可能に

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11043 をリリースし、HMX flash-attention 実装への変更を含んでいます。このアップデートは 64 の倍数ではないヘッド次元のサポートを有効にし、特に SigLIP の head_dim=72 などの構成を許可します。

HMX flash-attention カーネルは現在、DK/DV を 64 に切り上げた上でゼロ埋めされたテールレーンで動作します。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL)、Windows (CPU、OpenCL、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android、および openEuler 用のビルド済みバイナリが利用可能です。

この変更により、ユーザーは互換性の問題なく、対応ハードウェア上で非標準のヘッド次元を持つモデルを実行できます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b11044 が hexagon im2col を更新し、バイナリをリリース

llama.cpp プロジェクトはバージョン b11044 をリリースしました。これには、image-to-column (im2col) 操作の改善のための hexagon バックエンドの更新が含まれています。このリリースでは、macOS、Linux、Windows、Android、openEuler 向けに CPU、GPU、その他のハードウェアアクセラレータ用のプリビルドバイナリが提供されています。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11045 が Hexagon バックエンドに ROLL 演算のサポートを追加

llama.cpp プロジェクトはバージョン b11045 をリリースし、Hexagon バックエンド内で ROLL 演算のサポートを導入しました。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b11042 が OpenCL A8 Q6_K バイナリカーネルを追加

llama.cpp プロジェクトはバージョン b11042 をリリースし、A8 Q6_K 非 MoE モデル用の新しい OpenCL バイナリカーネルを導入しました。このアップデートには、OpenCL バックエンド内のレイアウト互換性の修正も含まれています。

github llama.cpp · 9時間前 · 1 回表示

llama.cpp b11039がモデルセーバーとローダーにSWAパターンサポートを追加

llama.cppプロジェクトはビルドb11039をリリースし、SWAを使用するすべてのモデルに対して、スライディングウィンドウアテンション（SWA）パターンとMLA SWAジオメトリを書き出すようにモデルセーバーを更新しました。この変更により、`sliding_window_pattern`がスカラーに圧縮されるのではなく、レイヤーごとのフラグとして書き出され、正確なデータ表現が保持されます。