github llama.cpp · たった今 · inference

llama.cpp b10723がIntel Xe-LP GPUのOpenCL量子化パスを調整

翻訳元 English → 日本語

llama.cppプロジェクトはバージョンb10723をリリースし、Intel Xe-LPグラフィックスハードウェア向けのOpenCL固有の最適化を含んでいます。このアップデートは、量子化カーネルを調整することでテンソル生成(TG)とプリフィル(PP)のパフォーマンス向上に焦点を当てています。

Intelデバイスで2倍の活性化再利用を可能にするため、N_DST値を増やすようにQ4_KおよびQ5_K mul_mv操作を調整しました。
Intelアーキテクチャ用にQ4_KおよびQ5_K mul_mm操作の8x8タイル構成を実装しました。
データ処理をさらに最適化するため、Q4_K mul_mvのN_DSTを8から16に増やしました。

このリリースでは、CUDA、Vulkan、ROCm、SYCLを含むさまざまなバックエンドに対応するmacOS、Linux、Windows、Android、iOS用の更新されたバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 3時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 5時間前 · 3 回表示

llama.cpp b10717 リリースで SYCL メモリ情報取得が強化

llama.cpp プロジェクトはバージョン b10717 をリリースしました。これには Intel GPU 用の SYCL バックエンドの特定の強化が含まれています。このアップデートは、L0 SYCL API を活用して空きメモリ情報を取得する能力を向上させます。

github llama.cpp · 11時間前 · 3 回表示

llama.cpp b10712 が Qwen 3.8 Flash Next 向けに Vulkan top-k radix select を追加

llama.cpp プロジェクトはビルド b10712 をリリースし、1024 以上の k 値をサポートするように設計された Vulkan 用の新しい top-k radix sort シェーダーを導入しました。このアップデートは Qwen 3.8 Flash Next モデルを特にターゲットとしており、対応するテストおよび top-k qsa フュージョンを含みます。

github llama.cpp · 18時間前 · 6 回表示

llama.cpp b10705 が TENSOR_READ_LAZY の処理を改善

llama.cpp プロジェクトはバージョン b10705 をリリースしました。これには TENSOR_READ_LAZY 処理メカニズムの改善が含まれています。この更新により、遅延設定が有効な場合に CPU で遅延テンソルが強制的に読み込まれます。

github llama.cpp · 19時間前 · 4 回表示

llama.cpp b10702 が AMD gfx1201 の Q2_0 ドット積を最適化

llama.cpp プロジェクトはバージョン b10702 をリリースし、AMD の gfx1201 アーキテクチャにおける Q2_0 量子化ドット積パスの特定の最適化を含んでいます。この更新により、HIP 実装がネイティブな amdgcn 置換命令を使用するよう拡張され、この特定のハードウェア構成のパフォーマンスが向上します。