github llama.cpp · 1時間前 · inference

llama.cpp b10212 は MTP テンソルを使用時のみロード

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10212 をリリースし、Multi-Token Prediction (MTP) テンソルが実際に使用されている場合にのみロードする変更が含まれています。この更新により、機能はサポートしているが必要としない他のモデルのロード時に MTP テンソルがスキップされるようになります。

使用に応じて MTP テンソルを条件付きでロードする。
必要のない対応モデルでは MTP のロードをスキップする。

この最適化により、Multi-Token Prediction を利用しないモデルの不要なメモリオーバーヘッドが削減されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 1時間前ライブ

llama.cpp b10210 がドラフトトークン再生中に受け入れられたトークンを修正

llama.cpp プロジェクトはバージョン b10210 をリリースしました。これには、ドラフトトークンの再生が必要な場合に受け入れられたトークンを処理するためのサーバーロジックの修正が含まれています。

github llama.cpp · 2時間前

llama.cpp b10208がXMXアクセラレーションされたプロンプト処理のためのoneMKL GEMMフラッシュアテンションを追加

llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。

github llama.cpp · 4時間前

llama.cpp b10207 が cpy の未対応型に対する SYCL サポートを追加

llama.cpp プロジェクトはバージョン b10207 をリリースしました。このバージョンには、cpy 操作で以前サポートされていなかったデータ型に対する SYCL サポートを追加するプルリクエストが含まれています。

github llama.cpp · 6時間前

llama.cpp b10206 が DeepSeek V4 および MLA モデルに対して同じ K と V キャッシュ型を強制

llama.cpp プロジェクトはバージョン b10206 をリリースし、注意機構におけるキーバリューキャッシュの処理方法に特定の変更を導入しました。この更新により、DeepSeek V4 モデルの K および V キャッシュ型が整合性を持つことが保証されます。

github llama.cpp · 8時間前

SYCL RMS_NORM フュージョンを備えた llama.cpp b10202 リリース

llama.cpp プロジェクトはバージョン b10202 をリリースし、RMS_NORM と MUL 演算を融合する SYCL 最適化を導入しました。