github llama.cpp · 1時間前 · inference

llama.cpp b10259 でロード中にテンソルの形状変更が可能に

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10259 をリリースし、ロードプロセス中にテンソルの形状を変更する機能を導入しました。

このアップデートには、macOS (Apple Silicon および Intel)、Linux (Ubuntu の CPU、Vulkan、ROCm、OpenVINO、SYCL バックエンド向け)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、HIP、OpenVINO、SYCL 向け)、および openEuler 用のバイナリが含まれています。

リリースではユーザー向けのスタンドアロン UI パッケージも提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 7時間前

llama.cpp b10254がDeepSeek V4 Flash 0731テンプレートを追加し、V4テンプレートを更新

llama.cppプロジェクトはバージョンb10254をリリースし、DeepSeek V4 Flash 0731モデル用の新しいチャットテンプレートを導入するとともに、既存のDeepSeek V4テンプレートを更新しました。

github llama.cpp · 10時間前

llama.cpp b10251 が GLM-4.7-Flash の MTP サポートを追加

llama.cpp プロジェクトは、GLM-4.7-Flash モデルのマルチトークン予測 (MTP) サポートを導入したビルド b10251 をリリースしました。

github llama.cpp · 1日前

llama.cpp b10238 が Qwen3-Next の MTP サポートを追加

llama.cpp プロジェクトはビルド b10238 をリリースし、Qwen3-Next モデルファミリーに対して Multi-Token Prediction (MTP) サポートを導入しました。このアップデートには、MTP レイヤーを処理するための特定の実装変更と、コードベース内の Python 型チェックに関連する修正が含まれています。

github llama.cpp · 1日前 · 5 回表示

llama.cpp b10237 が DeepSeek V3.2 の MTP サポートを追加

llama.cpp プロジェクトはビルド b10237 をリリースし、DeepSeek V3.2 モデル向けのマルチトークン予測（MTP）サポートを導入しました。

github llama.cpp · 2日前 · 7 回表示

llama.cpp b10232 が Metal で DeepSeek V4 ハイパー接続を実装

llama.cpp プロジェクトはビルド b10232 をリリースし、Metal バックエンドを介して DeepSeek V4 ハイパー接続のサポートを導入しました。このアップデートにより、GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE、および GGML_OP_DSV4_HC_POST 演算の実装が追加されました。