github llama.cpp · 1時間前 · inference

llama.cpp b10232 が Metal で DeepSeek V4 ハイパー接続を実装

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10232 をリリースし、Metal バックエンドを介して DeepSeek V4 ハイパー接続のサポートを導入しました。このアップデートにより、GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE、および GGML_OP_DSV4_HC_POST 演算の実装が追加されました。

新しいカーネルは SIMDgroup レジスタとシャッフルの最適化を利用しています。
本番環境の Sinkhorn 反復回数と埋め込み幅をサポートするために、Metal ディスパッチのパイプラインが追加されました。
CPU、CUDA、ROCm、Vulkan、OpenVINO を含むさまざまなハードウェアバックエンド上で、macOS（Apple Silicon および Intel）、iOS、Linux、Windows、Android、openEuler 用のビルド済みバイナリが利用可能です。

このリリースにより、Metal フレームワークを使用して Apple Silicon デバイス上で DeepSeek V4 モデルの効率的な推論が可能になります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 1日前 · 7 回表示

llama.cpp b10219 がチャット履歴に reasoning_content を永続化

llama.cpp プロジェクトはバージョン b10219 をリリースし、チャット履歴内に推論コンテンツを永続化する CLI の修正が含まれています。以前は、`llama-cli` がストリームから推論を収集して表示していましたが、メッセージにはアシスタントのコンテンツのみが保存されており、`--reasoning-preserve` フラグが後のターンで以前の思考を再注入できませんでした。

github llama.cpp · 2日前 · 8 回表示

llama.cpp b10213 が回転したkvキャッシュ量子化のサポートを追加

llama.cppプロジェクトはバージョンb10213をリリースし、回転したキーバリューキャッシュの量子化のサポートを導入しました。このアップデートは幅広いプラットフォームとハードウェアアクセラレーターで利用可能です。

github llama.cpp · 2日前 · 3 回表示

llama.cpp b10212 は MTP テンソルを使用時のみロード

llama.cpp プロジェクトはバージョン b10212 をリリースし、Multi-Token Prediction (MTP) テンソルが実際に使用されている場合にのみロードする変更が含まれています。この更新により、機能はサポートしているが必要としない他のモデルのロード時に MTP テンソルがスキップされるようになります。

github llama.cpp · 2日前 · 3 回表示

llama.cpp b10210 がドラフトトークン再生中に受け入れられたトークンを修正

llama.cpp プロジェクトはバージョン b10210 をリリースしました。これには、ドラフトトークンの再生が必要な場合に受け入れられたトークンを処理するためのサーバーロジックの修正が含まれています。

github llama.cpp · 2日前 · 6 回表示

llama.cpp b10208がXMXアクセラレーションされたプロンプト処理のためのoneMKL GEMMフラッシュアテンションを追加

llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。