github llama.cpp · 1日前 · inference

llama.cpp b11025 が Nemotron MTP サポートを拡張

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11025 をリリースしました。これには、Nemotron 複数トークン予測 (MTP) サポートの拡張が含まれています。

このアップデートでは、この機能に対する最初の修正が行われ、不要な宣言が削除されました。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、openEuler 用のバイナリが提供されています。
スタンドアロン UI ビルドもダウンロード可能です。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b11042 が OpenCL A8 Q6_K バイナリカーネルを追加

llama.cpp プロジェクトはバージョン b11042 をリリースし、A8 Q6_K 非 MoE モデル用の新しい OpenCL バイナリカーネルを導入しました。このアップデートには、OpenCL バックエンド内のレイアウト互換性の修正も含まれています。

github llama.cpp · 9時間前 · 1 回表示

llama.cpp b11039がモデルセーバーとローダーにSWAパターンサポートを追加

llama.cppプロジェクトはビルドb11039をリリースし、SWAを使用するすべてのモデルに対して、スライディングウィンドウアテンション（SWA）パターンとMLA SWAジオメトリを書き出すようにモデルセーバーを更新しました。この変更により、`sliding_window_pattern`がスカラーに圧縮されるのではなく、レイヤーごとのフラグとして書き出され、正確なデータ表現が保持されます。

github llama.cpp · 1日前 · 6 回表示

llama.cpp b11024 が OpenVINO を 2026.4 に更新し、警告を修正

llama.cpp プロジェクトはビルド b11024 をリリースしました。これは主に OpenVINO 統合をバージョン 2026.4 に更新するものです。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b11019が埋め込みファイルのGGUFデータアラインメントを修正し、LoRA読み込みを追加

llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。