github llama.cpp · 1時間前 · inference

llama.cpp b10238 が Qwen3-Next の MTP サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10238 をリリースし、Qwen3-Next モデルファミリーに対して Multi-Token Prediction (MTP) サポートを導入しました。このアップデートには、MTP レイヤーを処理するための特定の実装変更と、コードベース内の Python 型チェックに関連する修正が含まれています。

src/models/qwen3next.cpp で Qwen3-Next モデルの MTP サポートを追加しました。
num_mtp の計算を MTP レイヤーから直接行い、_QwenMtpMixin で opt_num_mtp_layers を定義しました。
Python の型チェックの問題を解決し、gguf-py/gguf/constants.py を更新しました。
macOS (Apple Silicon/Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、openEuler 用のバイナリを提供しました。

このリリースにより、ユーザーは幅広いハードウェアアーキテクチャとオペレーティングシステムで MTP 機能を持つ Qwen3-Next モデルを実行できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10237 が DeepSeek V3.2 の MTP サポートを追加

llama.cpp プロジェクトはビルド b10237 をリリースし、DeepSeek V3.2 モデル向けのマルチトークン予測（MTP）サポートを導入しました。

github llama.cpp · 14時間前 · 7 回表示

llama.cpp b10232 が Metal で DeepSeek V4 ハイパー接続を実装

llama.cpp プロジェクトはビルド b10232 をリリースし、Metal バックエンドを介して DeepSeek V4 ハイパー接続のサポートを導入しました。このアップデートにより、GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE、および GGML_OP_DSV4_HC_POST 演算の実装が追加されました。

github llama.cpp · 2日前 · 9 回表示

llama.cpp b10219 がチャット履歴に reasoning_content を永続化

llama.cpp プロジェクトはバージョン b10219 をリリースし、チャット履歴内に推論コンテンツを永続化する CLI の修正が含まれています。以前は、`llama-cli` がストリームから推論を収集して表示していましたが、メッセージにはアシスタントのコンテンツのみが保存されており、`--reasoning-preserve` フラグが後のターンで以前の思考を再注入できませんでした。

github llama.cpp · 3日前 · 8 回表示

llama.cpp b10213 が回転したkvキャッシュ量子化のサポートを追加

llama.cppプロジェクトはバージョンb10213をリリースし、回転したキーバリューキャッシュの量子化のサポートを導入しました。このアップデートは幅広いプラットフォームとハードウェアアクセラレーターで利用可能です。

github llama.cpp · 3日前 · 3 回表示

llama.cpp b10212 は MTP テンソルを使用時のみロード

llama.cpp プロジェクトはバージョン b10212 をリリースし、Multi-Token Prediction (MTP) テンソルが実際に使用されている場合にのみロードする変更が含まれています。この更新により、機能はサポートしているが必要としない他のモデルのロード時に MTP テンソルがスキップされるようになります。