github llama.cpp · 1時間前 · inference

llama.cpp b10251 が GLM-4.7-Flash の MTP サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトは、GLM-4.7-Flash モデルのマルチトークン予測 (MTP) サポートを導入したビルド b10251 をリリースしました。

このリリースには、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x、CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL バックエンド付き)、Android (arm64)、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEuler (ACL Graph) 用のバイナリが含まれています。

このバージョンでは、macOS Apple Silicon の KleidiAI ビルドは無効になっています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 19時間前

llama.cpp b10238 が Qwen3-Next の MTP サポートを追加

llama.cpp プロジェクトはビルド b10238 をリリースし、Qwen3-Next モデルファミリーに対して Multi-Token Prediction (MTP) サポートを導入しました。このアップデートには、MTP レイヤーを処理するための特定の実装変更と、コードベース内の Python 型チェックに関連する修正が含まれています。

github llama.cpp · 20時間前 · 5 回表示

llama.cpp b10237 が DeepSeek V3.2 の MTP サポートを追加

llama.cpp プロジェクトはビルド b10237 をリリースし、DeepSeek V3.2 モデル向けのマルチトークン予測（MTP）サポートを導入しました。

github llama.cpp · 1日前 · 7 回表示

llama.cpp b10232 が Metal で DeepSeek V4 ハイパー接続を実装

llama.cpp プロジェクトはビルド b10232 をリリースし、Metal バックエンドを介して DeepSeek V4 ハイパー接続のサポートを導入しました。このアップデートにより、GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE、および GGML_OP_DSV4_HC_POST 演算の実装が追加されました。

github llama.cpp · 2日前 · 9 回表示

llama.cpp b10219 がチャット履歴に reasoning_content を永続化

llama.cpp プロジェクトはバージョン b10219 をリリースし、チャット履歴内に推論コンテンツを永続化する CLI の修正が含まれています。以前は、`llama-cli` がストリームから推論を収集して表示していましたが、メッセージにはアシスタントのコンテンツのみが保存されており、`--reasoning-preserve` フラグが後のターンで以前の思考を再注入できませんでした。

github llama.cpp · 3日前 · 8 回表示

llama.cpp b10213 が回転したkvキャッシュ量子化のサポートを追加

llama.cppプロジェクトはバージョンb10213をリリースし、回転したキーバリューキャッシュの量子化のサポートを導入しました。このアップデートは幅広いプラットフォームとハードウェアアクセラレーターで利用可能です。