github llama.cpp · 1時間前 · inference

llama.cpp b10213 が回転したkvキャッシュ量子化のサポートを追加

翻訳元 English → 日本語

llama.cppプロジェクトはバージョンb10213をリリースし、回転したキーバリューキャッシュの量子化のサポートを導入しました。このアップデートは幅広いプラットフォームとハードウェアアクセラレーターで利用可能です。

macOS Apple Silicon (arm64) および Intel (x64)
XCFramework経由のiOS
Linux Ubuntu x64 および arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 および arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 および aarch64 (ACL Graph)

リリースにはメインアプリケーションのバイナリと、別のUIパッケージが含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 2時間前

llama.cpp b10212 は MTP テンソルを使用時のみロード

llama.cpp プロジェクトはバージョン b10212 をリリースし、Multi-Token Prediction (MTP) テンソルが実際に使用されている場合にのみロードする変更が含まれています。この更新により、機能はサポートしているが必要としない他のモデルのロード時に MTP テンソルがスキップされるようになります。

github llama.cpp · 3時間前

llama.cpp b10210 がドラフトトークン再生中に受け入れられたトークンを修正

llama.cpp プロジェクトはバージョン b10210 をリリースしました。これには、ドラフトトークンの再生が必要な場合に受け入れられたトークンを処理するためのサーバーロジックの修正が含まれています。

github llama.cpp · 4時間前

llama.cpp b10208がXMXアクセラレーションされたプロンプト処理のためのoneMKL GEMMフラッシュアテンションを追加

llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。

github llama.cpp · 6時間前

llama.cpp b10207 が cpy の未対応型に対する SYCL サポートを追加

llama.cpp プロジェクトはバージョン b10207 をリリースしました。このバージョンには、cpy 操作で以前サポートされていなかったデータ型に対する SYCL サポートを追加するプルリクエストが含まれています。

github llama.cpp · 8時間前

llama.cpp b10206 が DeepSeek V4 および MLA モデルに対して同じ K と V キャッシュ型を強制

llama.cpp プロジェクトはバージョン b10206 をリリースし、注意機構におけるキーバリューキャッシュの処理方法に特定の変更を導入しました。この更新により、DeepSeek V4 モデルの K および V キャッシュ型が整合性を持つことが保証されます。