github llama.cpp · たった今 · inference

llama.cpp b10777 が Q4_K 多列 MMVQ の冗長な作業を削減

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10777 をリリースしました。これには、Q4_K 多列行列-ベクトル乗算 (MMVQ) 用の SYCL バックエンドの最適化が含まれています。今回の更新は、重みのアンパックと活性化の再利用戦略を通じて冗長な計算作業を削減することに重点を置いています。

Q4_K 重みのアンパックを最適化し、宛先列間でデータを再利用します。
2つの出力行にわたる小さな N 値（N=2..4）に対して、活性化のサブグループ再利用を実装します。
効率を向上させるため、2行の再利用パターンを N=2 に限定してゲートします。
マジックナンバーの閾値を Q4_K_MMVQ_ROW_PAIR_MIN_NROWS=6272 に更新し、Q4_K MUL_MAT カバレッジの性能テストを追加しました。

このリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL を含むさまざまなハードウェアバックエンド向けに、macOS、Linux、Android、Windows、openEuler 用のプリビルドバイナリを提供しています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · たった今ライブ

llama.cpp が NVIDIA Nemotron-3-Puzzle-75B-A9B のサポートを追加

llama.cpp は NVIDIA Nemotron-3-Puzzle-75B-A9B モデルのサポートを導入し、この Mixture of Experts アーキテクチャの推論を有効にします。今回の更新では、モデルが 40 層の MoE レイヤーを持ち、n_ff_exp と top-k の値がそれぞれ異なるため、必要となる、可変のレイヤー別エキスパートフィードフォワードサイズと top-k ルーティングのためのインフラストラクチャを実装しました。

github llama.cpp · 13時間前 · 2 回表示

llama.cpp b10766 が DeepSeek 4 のビジョンサポートを追加

llama.cpp プロジェクトはビルド b10766 をリリースしました。これには、DeepSeek 4 モデルの入力ビジョンを正しくサポートするための修正が含まれています。

github llama.cpp · 14時間前 · 4 回表示

llama.cpp b10762 が DeepSeek-V4-Flash-Vision-Exp のサポートを追加

llama.cpp プロジェクトはビルド b10762 をリリースし、DeepSeek-V4-Flash-Vision-Exp モデルのサポートを導入しました。このアップデートには、コマンドラインインターフェースからの最小および最大トークン数の処理も含まれています。

github llama.cpp · 22時間前 · 1 回表示

llama.cpp b10758 が Hexagon 向けに MUL_MAT および MUL_MAT_ID の融合を追加

llama.cpp プロジェクトはビルド b10758 をリリースし、Hexagon DSP 向けの MUL_MAT および MUL_MAT_ID 融合機能を導入しました。このアップデートには、Qualcomm ハードウェア上の安定性とパフォーマンスを向上させるためのいくつかの修正も含まれています。

github llama.cpp · 22時間前 · 3 回表示

llama.cpp b10759 はディスパッチ時に KleidiAI バッファ型初期化を回避

llama.cpp プロジェクトはビルド b10759 をリリースしました。これには、ディスパッチ時に KleidiAI バッファ型の初期化を回避する修正が含まれています。