github llama.cpp · 5時間前 · inference

llama.cpp b11042 が OpenCL A8 Q6_K バイナリカーネルを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11042 をリリースし、A8 Q6_K 非 MoE モデル用の新しい OpenCL バイナリカーネルを導入しました。このアップデートには、OpenCL バックエンド内のレイアウト互換性の修正も含まれています。

`kernel_gemm_noshuffle_q6_k_f32_32b_trans_ila_a8_bin` OpenCL カーネルを追加。
OpenCL 実装におけるレイアウト互換性の問題を解決。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL)、openEuler 用のバイナリを提供。

このリリースは、主要なオペレーティングシステムおよび GPU アーキテクチャ全体の広範な互換性を維持しながら、OpenCL デバイス上の特定の量子化フォーマットのハードウェアサポートを拡大します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 9時間前 · 1 回表示

llama.cpp b11039がモデルセーバーとローダーにSWAパターンサポートを追加

llama.cppプロジェクトはビルドb11039をリリースし、SWAを使用するすべてのモデルに対して、スライディングウィンドウアテンション（SWA）パターンとMLA SWAジオメトリを書き出すようにモデルセーバーを更新しました。この変更により、`sliding_window_pattern`がスカラーに圧縮されるのではなく、レイヤーごとのフラグとして書き出され、正確なデータ表現が保持されます。

github llama.cpp · 1日前 · 6 回表示

llama.cpp b11024 が OpenVINO を 2026.4 に更新し、警告を修正

llama.cpp プロジェクトはビルド b11024 をリリースしました。これは主に OpenVINO 統合をバージョン 2026.4 に更新するものです。

github llama.cpp · 1日前 · 2 回表示

llama.cpp b11025 が Nemotron MTP サポートを拡張

llama.cpp プロジェクトはビルド b11025 をリリースしました。これには、Nemotron 複数トークン予測 (MTP) サポートの拡張が含まれています。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b11019が埋め込みファイルのGGUFデータアラインメントを修正し、LoRA読み込みを追加

llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。