github llama.cpp · 5時間前 · inference

llama.cpp b10715 が DFlash エンコーダを KV キャッシュ注入に融合

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10715 をリリースしました。これには DFlash 実装に対する重要な最適化が含まれています。DFlash エンコーダは、デコーディング中に KV キャッシュ注入プロセスに直接融合されるようになりました。

以前は、エンコーダを別の `llama_encode` 呼び出しとして実行すると、その出力に対してデバイスからホストへの往復が必要になり、その後インジェクションデコードがそれを再アップロードする必要がありました。また、各ラウンドごとに2回目のグラフ構築が行われていました。この変更により、エンコーダはデコーダの埋め込みブランチに折り畳まれ、ターゲット特徴を単一の `llama_decode` 呼び出しに直接フィードできるようになりました。

リリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、openEuler 用のバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10721 が WebGPU のクラッシュを修正し、Windows での CUDA 13.4 サポートを追加

llama.cpp プロジェクトはビルド b10721 をリリースしました。これには WebGPU バックエンドの重要な修正と、Windows 上のハードウェアサポートの拡張が含まれています。

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 7時間前 · 1 回表示

llama.cpp b10714 が Strix Halo 向け Vulkan mat-vec 行をチューニング

llama.cpp プロジェクトは、AMD Strix Halo ハードウェアを対象とした Vulkan バックエンドの特定の最適化を含むビルド b10714 をリリースしました。このアップデートは、バッチ推論中のパフォーマンスを向上させるために行列-ベクトル乗算の行数を調整します。

github llama.cpp · 12時間前 · 3 回表示

llama.cpp b10706 が SWIGLU_CLAMP と Vulkan シェーダーのサポートを追加

llama.cpp プロジェクトは、ggml バックエンドに新しい機能をもたらすビルド b10706 をリリースしました。このアップデートには、SWIGLU_CLAMP の追加と新しい Vulkan シェーダーの実装が含まれています。

github llama.cpp · 13時間前 · 9 回表示

llama.cpp b10707 がより高速な生成のために KV キャッシュセルのスキャンを最適化

llama.cpp プロジェクトは、キーバリュー (KV) キャッシュ処理のパフォーマンス最適化を含むバージョン b10707 をリリースしました。このアップデートでは、`for_each_token_in` 関数が修正され、特定セル内のすべてのシーケンスが確認された時点でスキャンを停止するようになり、可能な最大シーケンスすべてを反復処理するのではなく動作します。