github llama.cpp · 1時間前 · inference

llama.cpp b10206 が DeepSeek V4 および MLA モデルに対して同じ K と V キャッシュ型を強制

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10206 をリリースし、注意機構におけるキーバリューキャッシュの処理方法に特定の変更を導入しました。この更新により、DeepSeek V4 モデルの K および V キャッシュ型が整合性を持つことが保証されます。

DeepSeek V4 アーキテクチャに対して同一の K と V キャッシュ型を強制します。
V キャッシュが量子化されている場合に Flash Attention (FA) を有効にします。
他の MLA モデルにも同様の K および V キャッシュ型の強制を適用します。

このリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL、および OpenCL を含むさまざまなハードウェアバックエンド向けに、macOS、Linux、Windows、Android、openEuler 用のバイナリを提供しています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 3時間前

SYCL RMS_NORM フュージョンを備えた llama.cpp b10202 リリース

llama.cpp プロジェクトはバージョン b10202 をリリースし、RMS_NORM と MUL 演算を融合する SYCL 最適化を導入しました。

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10201 が長文脈における量子化KVのflash attentionを改善

llama.cppプロジェクトはバージョンb10201をリリースしました。これにはggml-webgpuバックエンドへの重要な改善が含まれています。このアップデートは、長文脈生成中に量子化されたキーバリューキャッシュを処理する際のflash attentionのパフォーマンスを向上させます。

github llama.cpp · 19時間前 · 1 回表示

llama.cpp b10198 が量子化concatのVulkanサポートを追加

llama.cppプロジェクトはビルドb10198をリリースし、Vulkanバックエンド内で量子化連結操作のサポートを導入しました。

github llama.cpp · 2日前 · 1 回表示

llama.cpp b10180 が SYCL ユーニオペレーションの連続高速パスと32ビットインデックス数学を追加

llama.cpp プロジェクトはビルド b10180 をリリースし、SYCL バックエンドのパフォーマンス最適化を導入しました。この更新では、連続した高速パスが実装され、要素ごとのインデックス計算が 32 ビット整数を使用した fastdiv に切り替えられました。

github llama.cpp · 4日前 · 3 回表示

llama.cpp b10155 が MiMo-V2.5 オーディオサポートを追加

llama.cpp プロジェクトはビルド b10155 をリリースし、MiMo-V2.5 オーディオ入力モデルのサポートを導入しました。このアップデートには MiMo オーディオ用の GGUF コンバーターが含まれ、RVQ ベースのオーディオモデルを処理するための必要な C++ バックエンドロジックが実装されています。