github llama.cpp · 3時間前 · inference

llama.cpp b10656 が RAM に大きなテンソルをロードしないよう作業メモリを制限

翻訳元 English → 日本語

llama.cpp プロジェクトは、作業メモリのサイズを制限する変更を含むビルド b10656 をリリースしました。この修正は、大きなテンソルがシステム RAM にロードされるのを防ぐために設計されています。

このリリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x)、Android、Windows、openEuler 用のバイナリが提供されます。
サポートされているバックエンドには、CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL、CUDA 12/13、OpenCL Adreno が含まれます。
このビルドでは、macOS Apple Silicon 用の KleidiAI サポートが無効になっています。

このアップデートにより、量子化プロセス中のメモリ使用量がより安定し、作業メモリのフットプリントが制限されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10662 が unified KV キャッシュ用に ctx-per-slot を追加

llama.cpp プロジェクトはビルド b10662 をリリースし、unified KV キャッシュに対してスロットごとのコンテキストを指定できるようにする新しい `--kv-unified-per-slot` 引数を導入しました。この変更は、以前のコンテキスト比率メカニズムをコンテキストプールスロットに置き換え、基盤の実装をリファクタリングします。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10658 が DFlash2 サポートを追加し、mrope のバグを修正

llama.cpp プロジェクトはビルド b10658 をリリースし、ローカル畳み込みと候補セレクタを含む DFlash2 仕様のサポートを導入しました。このアップデートでは、コードベース内の特定の mrope バグも修正されています。

github llama.cpp · 2時間前 · 1 回表示

llama.cppがWindows ROCmリリースにHIPランタイムDLLをバンドル

llama.cppプロジェクトは、Windows ROCmリリースを更新し、必要なHIPランタイムDLLをバイナリと共に直接バンドルしました。この変更は問題#26929に対処し、System32内のドライバーのコピーと競合する可能性のあるものではなく、正しいHIPランタイムがロードされることを保証します。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10657 が GEMO MOE の OpenCL バイナリカーネルを追加

llama.cpp プロジェクトはバージョン b10657 をリリースし、混合専門家モデル用の新しい OpenCL バイナリカーネルを導入しました。具体的には、互換性のあるハードウェアでの効率的な計算をサポートするために `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` と `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` が追加されました。