github llama.cpp · たった今 · inference

llama.cpp b10766 が DeepSeek 4 のビジョンサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10766 をリリースしました。これには、DeepSeek 4 モデルの入力ビジョンを正しくサポートするための修正が含まれています。

DeepSeek 4 の入力ビジョンを正しくサポートします。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA、OpenCL、Vulkan、OpenVINO、SYCL、ROCm)、openEuler 用のバイナリが利用可能です。

このアップデートにより、ユーザーは対応プラットフォーム上で最新の llama.cpp ビルドでビジョン機能を持つ DeepSeek 4 を実行できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10762 が DeepSeek-V4-Flash-Vision-Exp のサポートを追加

llama.cpp プロジェクトはビルド b10762 をリリースし、DeepSeek-V4-Flash-Vision-Exp モデルのサポートを導入しました。このアップデートには、コマンドラインインターフェースからの最小および最大トークン数の処理も含まれています。

github llama.cpp · 9時間前 · 1 回表示

llama.cpp b10758 が Hexagon 向けに MUL_MAT および MUL_MAT_ID の融合を追加

llama.cpp プロジェクトはビルド b10758 をリリースし、Hexagon DSP 向けの MUL_MAT および MUL_MAT_ID 融合機能を導入しました。このアップデートには、Qualcomm ハードウェア上の安定性とパフォーマンスを向上させるためのいくつかの修正も含まれています。

github llama.cpp · 9時間前 · 3 回表示

llama.cpp b10759 はディスパッチ時に KleidiAI バッファ型初期化を回避

llama.cpp プロジェクトはビルド b10759 をリリースしました。これには、ディスパッチ時に KleidiAI バッファ型の初期化を回避する修正が含まれています。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10756 が Vulkan shader_bfloat16 拡張機能の要求を制限

llama.cpp プロジェクトはビルド b10756 をリリースし、VK_KHR_shader_bfloat16 拡張機能がハードウェアでサポートされている場合にのみその拡張機能を要求するように Vulkan バックエンドの動作を変更しました。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10757 が Vulkan IQ3_S mat-vec のバッチサイズ増大時のパフォーマンスを改善

llama.cpp プロジェクトは、Vulkan バックエンド用の特定の最適化を含むビルド b10757 をリリースしました。この更新では、NUM_COLS が 4 より大きい場合に IQ3_S 行列ベクトル乗算に対して 4 より大きいバッチサイズを効率的に処理します。