github llama.cpp · 9時間前 · inference

llama.cpp b10759 はディスパッチ時に KleidiAI バッファ型初期化を回避

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10759 をリリースしました。これには、ディスパッチ時に KleidiAI バッファ型の初期化を回避する修正が含まれています。

このリリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x)、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL、OpenVINO)、Android、openEuler のバイナリが提供されています。

このビルドでは、macOS Apple Silicon に対する KleidiAI サポートは明示的に無効になっています。

CUDA 12.4 および 13.3 の標準リリースに加えて、CUDA 13 対応の Windows arm64 のプレビュー版が含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · たった今ライブ

llama.cpp b10766 が DeepSeek 4 のビジョンサポートを追加

llama.cpp プロジェクトはビルド b10766 をリリースしました。これには、DeepSeek 4 モデルの入力ビジョンを正しくサポートするための修正が含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10762 が DeepSeek-V4-Flash-Vision-Exp のサポートを追加

llama.cpp プロジェクトはビルド b10762 をリリースし、DeepSeek-V4-Flash-Vision-Exp モデルのサポートを導入しました。このアップデートには、コマンドラインインターフェースからの最小および最大トークン数の処理も含まれています。

github llama.cpp · 9時間前 · 1 回表示

llama.cpp b10758 が Hexagon 向けに MUL_MAT および MUL_MAT_ID の融合を追加

llama.cpp プロジェクトはビルド b10758 をリリースし、Hexagon DSP 向けの MUL_MAT および MUL_MAT_ID 融合機能を導入しました。このアップデートには、Qualcomm ハードウェア上の安定性とパフォーマンスを向上させるためのいくつかの修正も含まれています。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10756 が Vulkan shader_bfloat16 拡張機能の要求を制限

llama.cpp プロジェクトはビルド b10756 をリリースし、VK_KHR_shader_bfloat16 拡張機能がハードウェアでサポートされている場合にのみその拡張機能を要求するように Vulkan バックエンドの動作を変更しました。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10757 が Vulkan IQ3_S mat-vec のバッチサイズ増大時のパフォーマンスを改善

llama.cpp プロジェクトは、Vulkan バックエンド用の特定の最適化を含むビルド b10757 をリリースしました。この更新では、NUM_COLS が 4 より大きい場合に IQ3_S 行列ベクトル乗算に対して 4 より大きいバッチサイズを効率的に処理します。