github llama.cpp · 1時間前 · inference

llama.cpp b10210 がドラフトトークン再生中に受け入れられたトークンを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10210 をリリースしました。これには、ドラフトトークンの再生が必要な場合に受け入れられたトークンを処理するためのサーバーロジックの修正が含まれています。

ドラフトトークンの再生が必要な場合、サーバーコンポーネント内の受け入れられたトークンを修正します。
macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64/arm64/s390x with CPU, Vulkan, ROCm, OpenVINO, SYCL)、Android、Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)、および openEuler 用のビルド済みバイナリを提供します。
UI リリースパッケージが含まれています。

このアップデートにより、サポートされているすべてのプラットフォームでの推論デコーディングシナリオにおけるトークンの正確な処理が保証されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 1時間前ライブ

llama.cpp b10212 は MTP テンソルを使用時のみロード

llama.cpp プロジェクトはバージョン b10212 をリリースし、Multi-Token Prediction (MTP) テンソルが実際に使用されている場合にのみロードする変更が含まれています。この更新により、機能はサポートしているが必要としない他のモデルのロード時に MTP テンソルがスキップされるようになります。

github llama.cpp · 2時間前

llama.cpp b10208がXMXアクセラレーションされたプロンプト処理のためのoneMKL GEMMフラッシュアテンションを追加

llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。

github llama.cpp · 4時間前

llama.cpp b10207 が cpy の未対応型に対する SYCL サポートを追加

llama.cpp プロジェクトはバージョン b10207 をリリースしました。このバージョンには、cpy 操作で以前サポートされていなかったデータ型に対する SYCL サポートを追加するプルリクエストが含まれています。

github llama.cpp · 6時間前

llama.cpp b10206 が DeepSeek V4 および MLA モデルに対して同じ K と V キャッシュ型を強制

llama.cpp プロジェクトはバージョン b10206 をリリースし、注意機構におけるキーバリューキャッシュの処理方法に特定の変更を導入しました。この更新により、DeepSeek V4 モデルの K および V キャッシュ型が整合性を持つことが保証されます。

github llama.cpp · 8時間前

SYCL RMS_NORM フュージョンを備えた llama.cpp b10202 リリース

llama.cpp プロジェクトはバージョン b10202 をリリースし、RMS_NORM と MUL 演算を融合する SYCL 最適化を導入しました。