github llama.cpp · 2時間前 · inference

llama.cpp b10658 が DFlash2 サポートを追加し、mrope のバグを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10658 をリリースし、ローカル畳み込みと候補セレクタを含む DFlash2 仕様のサポートを導入しました。このアップデートでは、コードベース内の特定の mrope バグも修正されています。

ローカル畳み込みと候補セレクタ機能を持つ DFlash2 サポートを追加。
DFlash2 実装に p_min パラメータを含める。
mrope バグを修正するパッチを適用。
DFlash2 のコストを最適化し、コード構造をリファクタリング。
CPU、GPU、および各種アクセラレータバックエンド向けに、macOS、Linux、Windows、Android、openEuler 用のバイナリをリリース。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10662 が unified KV キャッシュ用に ctx-per-slot を追加

llama.cpp プロジェクトはビルド b10662 をリリースし、unified KV キャッシュに対してスロットごとのコンテキストを指定できるようにする新しい `--kv-unified-per-slot` 引数を導入しました。この変更は、以前のコンテキスト比率メカニズムをコンテキストプールスロットに置き換え、基盤の実装をリファクタリングします。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 2時間前 · 1 回表示

llama.cppがWindows ROCmリリースにHIPランタイムDLLをバンドル

llama.cppプロジェクトは、Windows ROCmリリースを更新し、必要なHIPランタイムDLLをバイナリと共に直接バンドルしました。この変更は問題#26929に対処し、System32内のドライバーのコピーと競合する可能性のあるものではなく、正しいHIPランタイムがロードされることを保証します。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10656 が RAM に大きなテンソルをロードしないよう作業メモリを制限

llama.cpp プロジェクトは、作業メモリのサイズを制限する変更を含むビルド b10656 をリリースしました。この修正は、大きなテンソルがシステム RAM にロードされるのを防ぐために設計されています。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10657 が GEMO MOE の OpenCL バイナリカーネルを追加

llama.cpp プロジェクトはバージョン b10657 をリリースし、混合専門家モデル用の新しい OpenCL バイナリカーネルを導入しました。具体的には、互換性のあるハードウェアでの効率的な計算をサポートするために `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` と `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` が追加されました。