github llama.cpp · 7時間前 · inference

llama.cpp b10714 が Strix Halo 向け Vulkan mat-vec 行をチューニング

翻訳元 English → 日本語

llama.cpp プロジェクトは、AMD Strix Halo ハードウェアを対象とした Vulkan バックエンドの特定の最適化を含むビルド b10714 をリリースしました。このアップデートは、バッチ推論中のパフォーマンスを向上させるために行列-ベクトル乗算の行数を調整します。

Vulkan: 4つ以上の列を持つ RDNA3 アーキテクチャの mat-vec 操作に対して静的な 4 行を設定し、この構成がデフォルトよりもベンチマークで高速であることを示しています。
Vulkan: Strix Halo マシンにおける mul_mat_vec_id に対して静的な 4 行設定を適用し、デフォルトと比較して様々なタイプやバッチサイズでより高速であることが証明されています。

これらの変更により、Strix Halo などの RDNA3 ベースの GPU で llama.cpp を実行するユーザーに実質的なパフォーマンス向上がもたらされます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10721 が WebGPU のクラッシュを修正し、Windows での CUDA 13.4 サポートを追加

llama.cpp プロジェクトはビルド b10721 をリリースしました。これには WebGPU バックエンドの重要な修正と、Windows 上のハードウェアサポートの拡張が含まれています。

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10715 が DFlash エンコーダを KV キャッシュ注入に融合

llama.cpp プロジェクトはビルド b10715 をリリースしました。これには DFlash 実装に対する重要な最適化が含まれています。DFlash エンコーダは、デコーディング中に KV キャッシュ注入プロセスに直接融合されるようになりました。

github llama.cpp · 13時間前 · 3 回表示

llama.cpp b10706 が SWIGLU_CLAMP と Vulkan シェーダーのサポートを追加

llama.cpp プロジェクトは、ggml バックエンドに新しい機能をもたらすビルド b10706 をリリースしました。このアップデートには、SWIGLU_CLAMP の追加と新しい Vulkan シェーダーの実装が含まれています。

github llama.cpp · 13時間前 · 9 回表示

llama.cpp b10707 がより高速な生成のために KV キャッシュセルのスキャンを最適化

llama.cpp プロジェクトは、キーバリュー (KV) キャッシュ処理のパフォーマンス最適化を含むバージョン b10707 をリリースしました。このアップデートでは、`for_each_token_in` 関数が修正され、特定セル内のすべてのシーケンスが確認された時点でスキャンを停止するようになり、可能な最大シーケンスすべてを反復処理するのではなく動作します。