github llama.cpp · 1時間前 · inference

llama.cpp b11044 が hexagon im2col を更新し、バイナリをリリース

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11044 をリリースしました。これには、image-to-column (im2col) 操作の改善のための hexagon バックエンドの更新が含まれています。このリリースでは、macOS、Linux、Windows、Android、openEuler 向けに CPU、GPU、その他のハードウェアアクセラレータ用のプリビルドバイナリが提供されています。

ggml-hexagon は 1D およびパディングされた IM2COL 操作を受け入れます。
pure-DDR IM2COL カーネルは 2D-aware になりました。
IM2COL DMA patch-embed の高速パスが 1D に拡張されました。
blocked-staging general IM2COL DMA カーネルが追加されました。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11045 が Hexagon バックエンドに ROLL 演算のサポートを追加

llama.cpp プロジェクトはバージョン b11045 をリリースし、Hexagon バックエンド内で ROLL 演算のサポートを導入しました。

github llama.cpp · 12時間前 · 1 回表示

llama.cpp b11035がVulkan用のIQ3_S MMQ行列乗算カーネルを追加

llama.cppプロジェクトはバージョンb11035をリリースし、VulkanバックエンドでIQ3_S MMQ行列乗算カーネルのサポートを導入しました。

github llama.cpp · 1日前 · 5 回表示

llama.cpp b11026 が Qwen35MoE の gate_up_exps をスキップ

llama.cpp プロジェクトはビルド b11026 をリリースし、TENSOR_SKIP フラグが設定されている場合に gate_up_exps をスキップする変更を導入しました。この修正は、MTP テンソルが融合されているが読み込まれていない Qwen35MoE モデルに特に必要です。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b11019が埋め込みファイルのGGUFデータアラインメントを修正し、LoRA読み込みを追加

llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。