github llama.cpp · 2時間前 · inference

llama.cpp b10237 が DeepSeek V3.2 の MTP サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10237 をリリースし、DeepSeek V3.2 モデル向けのマルチトークン予測（MTP）サポートを導入しました。

このアップデートにより、llama フレームワーク内で DeepSeek V3.2 専用の MTP 機能が有効化されました。
モデルタイプの検出ロジックが調整され、検出プロセス中に MTP レイヤーを明示的に含める必要がなくなりました。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリが提供されています。

このリリースにより、ユーザーは幅広いハードウェアアーキテクチャとオペレーティングシステム上で DeepSeek V3.2 と MTP を活用できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 1時間前ライブ

llama.cpp b10238 が Qwen3-Next の MTP サポートを追加

llama.cpp プロジェクトはビルド b10238 をリリースし、Qwen3-Next モデルファミリーに対して Multi-Token Prediction (MTP) サポートを導入しました。このアップデートには、MTP レイヤーを処理するための特定の実装変更と、コードベース内の Python 型チェックに関連する修正が含まれています。

github llama.cpp · 14時間前 · 7 回表示

llama.cpp b10232 が Metal で DeepSeek V4 ハイパー接続を実装

llama.cpp プロジェクトはビルド b10232 をリリースし、Metal バックエンドを介して DeepSeek V4 ハイパー接続のサポートを導入しました。このアップデートにより、GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE、および GGML_OP_DSV4_HC_POST 演算の実装が追加されました。

github llama.cpp · 2日前 · 9 回表示

llama.cpp b10219 がチャット履歴に reasoning_content を永続化

llama.cpp プロジェクトはバージョン b10219 をリリースし、チャット履歴内に推論コンテンツを永続化する CLI の修正が含まれています。以前は、`llama-cli` がストリームから推論を収集して表示していましたが、メッセージにはアシスタントのコンテンツのみが保存されており、`--reasoning-preserve` フラグが後のターンで以前の思考を再注入できませんでした。

github llama.cpp · 3日前 · 8 回表示

llama.cpp b10213 が回転したkvキャッシュ量子化のサポートを追加

llama.cppプロジェクトはバージョンb10213をリリースし、回転したキーバリューキャッシュの量子化のサポートを導入しました。このアップデートは幅広いプラットフォームとハードウェアアクセラレーターで利用可能です。

github llama.cpp · 3日前 · 3 回表示

llama.cpp b10212 は MTP テンソルを使用時のみロード

llama.cpp プロジェクトはバージョン b10212 をリリースし、Multi-Token Prediction (MTP) テンソルが実際に使用されている場合にのみロードする変更が含まれています。この更新により、機能はサポートしているが必要としない他のモデルのロード時に MTP テンソルがスキップされるようになります。