github llama.cpp · たった今 · inference

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

OpenCL 用の `flash_attn_f32_f16_bin` カーネル実装を追加。
OpenCL バックエンドで Flash Attention のガード付きプリフィルロジックを実装。
macOS (Apple Silicon および Intel)、Linux (CPU、CUDA、ROCm、Vulkan、SYCL、OpenVINO)、Windows (CPU、CUDA、Vulkan、SYCL、ROCm、OpenVINO)、Android、および iOS 用のバイナリを提供。

このリリースは、主要なオペレーティングシステムとアクセラレータにわたる広範なサポートを維持しつつ、OpenCL 対応デバイス上のアテンションメカニズムのハードウェア互換性を拡張します。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

github llama.cpp · 2日前 · 4 回表示

llama.cpp b11019が埋め込みファイルのGGUFデータアラインメントを修正し、LoRA読み込みを追加

llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。

github llama.cpp · 2日前 · 7 回表示

llama.cpp b11006 が K-Quants Q4_K および Q6_K の Hexagon サポートを追加

llama.cpp プロジェクトはバージョン b11006 をリリースし、K-Quantization フォーマットを処理するための Qualcomm Hexagon プロセッサのサポートを導入しました。このアップデートでは、Hexagon アーキテクチャ上で Q4_K および Q6_K 量子化レベル用の特定のカーネルが実装されました。

github llama.cpp · 4日前 · 10 回表示

llama.cpp b10981がGemma-4のステートフルデコードを修正し、GPU上のMoE推論を最適化

llama.cpp b10981リリースは、OpenVINOバックエンドのステートフルデコードパスにおける重大な正確性の問題を解決し、特にレイヤーごとのヘッドサイズを使用するGemma-4などのモデルのサポートを修正します。また、GPU上のMixture of Experts (MoE) 推論の最適化を導入し、KV状態のリレイアウトを通じてパフォーマンスを向上させます。

github llama.cpp · 11日前 · 24 回表示

llama.cpp b10840 が CUDA 向けに分岐なし Q4_K/Q5_K 展開と L2 プリフェッチを追加

llama.cpp プロジェクトはバージョン b10840 をリリースし、CUDA 推論の性能最適化を導入しました。このアップデートは、行列-ベクトル乗算 (mmvq) の高速化のために Q4_K および Q5_K 量子化フォーマットに対する分岐なし計算を実装しています。

github llama.cpp · 12日前 · 23 回表示

llama.cpp b10827 が q4_K および q5_K mul_mat の OpenCL 重みパック選択を修正

llama.cpp プロジェクトはバージョン b10827 をリリースしました。これには、OpenCL を使用して q4_K および q5_K 行列乗算演算の重みパックを適切に選択するための修正が含まれています。