github llama.cpp · 1時間前 · inference

llama.cpp b10307 が SYCL NVFP4 パースを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10307 をリリースしました。これには、NVFP4 量子化で使用される UE4M3 スケーリング係数を正しくパースするための SYCL GPU コードの修正が含まれています。

この更新では、NVFP4 がこれらの係数を単一の UE4M3 バイトに格納するため、符号付き E4M3 から符号なしへのスケール値の変換が修正されました。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16)、Android、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEuler 用のバイナリが利用可能です。
一般的な用途向けの UI ビルドも提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 16時間前

llama.cpp b10298 が mtmd モジュールのチャンク保存/読み込み機能を追加

llama.cpp プロジェクトはビルド b10298 をリリースし、mtmd モジュール用の新しいチャンクの保存および読み込み機能を導入しました。このアップデートにはコードのクリーンアップと追加テストも含まれています。

github llama.cpp · 2日前 · 1 回表示

llama.cpp b10282 が /metrics エンドポイントに spec-decode カウンターを追加

llama.cpp プロジェクトはバージョン b10282 をリリースし、推論デコーディングの新しいモニタリング機能を紹介しました。サーバーは now /metrics エンドポイントに spec-decode カウンターを含み、ユーザーはこの機能に関連するパフォーマンスメトリクスを追跡できます。

github llama.cpp · 3日前

llama.cpp b10259 でロード中にテンソルの形状変更が可能に

llama.cpp プロジェクトはビルド b10259 をリリースし、ロードプロセス中にテンソルの形状を変更する機能を導入しました。

github llama.cpp · 3日前 · 2 回表示

llama.cpp b10254がDeepSeek V4 Flash 0731テンプレートを追加し、V4テンプレートを更新

llama.cppプロジェクトはバージョンb10254をリリースし、DeepSeek V4 Flash 0731モデル用の新しいチャットテンプレートを導入するとともに、既存のDeepSeek V4テンプレートを更新しました。

github llama.cpp · 3日前

llama.cpp b10251 が GLM-4.7-Flash の MTP サポートを追加

llama.cpp プロジェクトは、GLM-4.7-Flash モデルのマルチトークン予測 (MTP) サポートを導入したビルド b10251 をリリースしました。