github llama.cpp · 1時間前 · inference

llama.cpp b10298 が mtmd モジュールのチャンク保存/読み込み機能を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10298 をリリースし、mtmd モジュール用の新しいチャンクの保存および読み込み機能を導入しました。このアップデートにはコードのクリーンアップと追加テストも含まれています。

mtmd モジュールにチャンクの保存/読み込み機能を追加。
小さなコードの修正とテストの追加を含める。
内部定数を _MAX から _COUNT にリネーム。

リリースでは、CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL、および HIP を含むさまざまなハードウェアバックエンド上で、macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 1日前

llama.cpp b10282 が /metrics エンドポイントに spec-decode カウンターを追加

llama.cpp プロジェクトはバージョン b10282 をリリースし、推論デコーディングの新しいモニタリング機能を紹介しました。サーバーは now /metrics エンドポイントに spec-decode カウンターを含み、ユーザーはこの機能に関連するパフォーマンスメトリクスを追跡できます。

github llama.cpp · 2日前

llama.cpp b10259 でロード中にテンソルの形状変更が可能に

llama.cpp プロジェクトはビルド b10259 をリリースし、ロードプロセス中にテンソルの形状を変更する機能を導入しました。

github llama.cpp · 3日前 · 2 回表示

llama.cpp b10254がDeepSeek V4 Flash 0731テンプレートを追加し、V4テンプレートを更新

llama.cppプロジェクトはバージョンb10254をリリースし、DeepSeek V4 Flash 0731モデル用の新しいチャットテンプレートを導入するとともに、既存のDeepSeek V4テンプレートを更新しました。

github llama.cpp · 3日前

llama.cpp b10251 が GLM-4.7-Flash の MTP サポートを追加

llama.cpp プロジェクトは、GLM-4.7-Flash モデルのマルチトークン予測 (MTP) サポートを導入したビルド b10251 をリリースしました。

github llama.cpp · 4日前

llama.cpp b10238 が Qwen3-Next の MTP サポートを追加

llama.cpp プロジェクトはビルド b10238 をリリースし、Qwen3-Next モデルファミリーに対して Multi-Token Prediction (MTP) サポートを導入しました。このアップデートには、MTP レイヤーを処理するための特定の実装変更と、コードベース内の Python 型チェックに関連する修正が含まれています。