github llama.cpp · たった今 · inference

llama.cpp b10669 が oneDNN SDPA パスの f16 KV キャッシュをその場でバインド

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10669 をリリースし、oneDNN SDPA パスのパフォーマンス最適化として、f16 KV キャッシュをその場でバインドする機能を含めています。

この変更により、プリフィルチャンク中のメモリトラフィックが削減されます。例えば、Qwen3.8 27B でライブ KV 長が 34816 の場合、段階的なコピーを避けることで、ubatch あたりのトラフィックを 4.56 GB からさらに低減します。
バイナリは macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA、OpenCL、Vulkan、OpenVINO、SYCL、ROCm)、openEuler で利用可能です。

このアップデートにより、広範なプラットフォーム互換性を維持しつつ、対応ハードウェア上で最適化された推論パフォーマンスがユーザーに提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 6時間前 · 1 回表示

llama.cpp b10666 が状態の保存・読み込みテストとデバイス上シーケンスコピーを修正

llama.cpp b10666 リリースは、test-save-load-state スイートをすべてのアーキテクチャで実行するように拡張し、状態管理およびグラフ処理におけるいくつかの重大なバグを解決しました。主な変更点には、minimax-01 におけるダングリング参照の修正、デバイス上シーケンスのチャンクコピーの整合性確保、および deepseek4 のインデクサヘッド数の補正が含まれます。

github llama.cpp · 16時間前 · 1 回表示

llama.cpp b10662 が unified KV キャッシュ用に ctx-per-slot を追加

llama.cpp プロジェクトはビルド b10662 をリリースし、unified KV キャッシュに対してスロットごとのコンテキストを指定できるようにする新しい `--kv-unified-per-slot` 引数を導入しました。この変更は、以前のコンテキスト比率メカニズムをコンテキストプールスロットに置き換え、基盤の実装をリファクタリングします。

github llama.cpp · 17時間前 · 7 回表示

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 17時間前 · 16 回表示

llama.cpp b10658 が DFlash2 サポートを追加し、mrope のバグを修正

llama.cpp プロジェクトはビルド b10658 をリリースし、ローカル畳み込みと候補セレクタを含む DFlash2 仕様のサポートを導入しました。このアップデートでは、コードベース内の特定の mrope バグも修正されています。

github llama.cpp · 18時間前 · 1 回表示

llama.cppがWindows ROCmリリースにHIPランタイムDLLをバンドル

llama.cppプロジェクトは、Windows ROCmリリースを更新し、必要なHIPランタイムDLLをバイナリと共に直接バンドルしました。この変更は問題#26929に対処し、System32内のドライバーのコピーと競合する可能性のあるものではなく、正しいHIPランタイムがロードされることを保証します。