github llama.cpp · 1時間前 · inference

ggml-openvinoが2026.4.1に更新、MoE融合とデバイス一覧表示の修正

翻訳元 English → 日本語

llama.cppのggml-openvinoバックエンドがバージョン2026.4.1に更新され、パフォーマンスの最適化、演算子のサポート拡大、およびデバイスの列挙改善が導入されました。

Mixture-of-Experts (MoE) ルーティングとGDN QK正規化の融合、GPU MoE融合がデフォルトで有効化。
gemma-4などのモデルにおけるfused gate-upウェイトのサポートにより、Arc B390上でprefillスループットが66.16から1608.73 t/sに向上。
状態保持実行におけるrank-3軸処理の修正により、MoEモデルでのグラフ構築中止を解消。
PRD準拠のデバイス列挙とメモリレポートの実装により、GPU/IGPUの正確な区別を保証。
ディスクからコンパイル済みモデルを直接インポートするためのk-requeruオプションq4_asym64およびcache_onlyモードの追加。

これらの変更により、MoEアーキテクチャの推論パフォーマンスが向上し、OpenVINOユーザー向けにより信頼性の高いハードウェア検出と構成が可能になりました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11375 が GGML_SCHED_NO_REALLOC 下のグラフ再割り当て中止を修正

llama.cpp プロジェクトはビルド b11375 をリリースし、非連続の ubatch セルが GGML_SCHED_NO_REALLOC フラグが設定されている場合に中止を引き起こすグラフ再割り当てを強制する重大な問題を解決しました。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11372がqwen4expインデクサーのメモリを半減させ、CUDA 4ヘッドサポートを追加

llama.cpp b11372リリースは、qwen4expモデルのライトニングインデクサーの最適化を導入し、主に長期コンテキスト処理中のインデクサースコアに必要なメモリを半減させます。これは、各ヘッドのために個別のテンソルを生成するのではなく、ヘッドスコアをその場で計算することで実現されます。

github llama.cpp · 8時間前 · 2 回表示

llama.cpp b11370 が共有エキスパートを MMVQ に融合

llama.cpp プロジェクトはビルド b11370 をリリースしました。これには、ベクトル量子化 (MMVQ) を備えた MoE 混合アーキテクチャに共有エキスパートを融合するための CUDA オプティマイゼーションが含まれています。この変更はプルリクエスト #29184 の一部であり、stride_col_dst のバッファ null チェックと引数処理も処理しています。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b11368 が単純ドラフトと MTP のための確率的サンプリングを追加

llama.cpp プロジェクトはビルド b11368 をリリースし、単純ドラフトおよび MTP（Multi-Token Prediction）ワークフローに確率的サンプリングを導入しました。この更新では、拒否サンプリングによってターゲットを検証しながら確率的選択を使用するようドラフティングメカニズムが変更されました。

github llama.cpp · 14時間前 · 1 回表示

llama.cpp b11362 が F16 KV のテンソル API 用フラッシュアテンションカーネルを追加

llama.cpp プロジェクトはビルド b11362 をリリースし、F16 キーバリュー (KV) ストレージをサポートする新しいテンソル API フラッシュアテンションカーネルを導入しました。このアップデートは、CUDA、Vulkan、ROCm を含むさまざまなバックエンドオプションとともに、macOS、Linux、Windows、Android、iOS のプラットフォームで利用可能です。