github llama.cpp · 1時間前 · inference

llama.cpp b10246 が大型 q6_K lm_head を平坦な GEMV にルーティング

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10246 をリリースし、特定のモデル構成における OpenCL パフォーマンスの修正を含んでいます。このアップデートは、元の次元条件が大きな重みを処理するのに不十分だった問題を解決します。

大型の q6_K lm_head テンサーを gemv_noshuffle の代わりに平坦な GEMV にルーティングします。
gemma-4 E2B（次元 [1536, 262144]）のようなモデルでの速度低下を防ぐために、直接のサイズ条件を追加します。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA、Vulkan、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリを提供します。

この変更により、OpenCL デバイス上で大きな重み行列がパフォーマンスのボトルネックを引き起こすことなく効率的に処理されることが保証されます。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 19時間前 · 6 回表示

llama.cpp b10236 が Metal DSv4 Lightning Indexer を実装

llama.cpp b10236 リリースでは、DSv4 Lightning Indexer の Metal 実装が導入され、F32 クエリと重み、および F16 キーとマスクを伴う 128 次元入力を特にサポートしています。

github llama.cpp · 3日前 · 8 回表示

llama.cpp b10208がXMXアクセラレーションされたプロンプト処理のためのoneMKL GEMMフラッシュアテンションを追加

llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。

github llama.cpp · 5日前 · 2 回表示

llama.cpp b10181で、共有メモリが48 KiB未満のデバイスでMMQが無効化される

llama.cppプロジェクトはビルドb10181をリリースしました。このビルドには、ggml-cudaにおける修正が含まれており、ブロックごとの共有メモリが48 KiB未満のGPUで行列乗算量子化（MMQ）を無効にします。

media Hugging Face Forums · 5日前

Hugging Faceがgenerate()での誤った出力を防ぐためDynamicCacheを修正

Hugging Faceの`generate()`関数にはバグがあり、`past_key_values`が外部で作成された`DynamicCache`の場合に誤った出力が生じます。この問題は、プレフィルデータからキャッシュを再構築するSnapKV、H2O、KIVIなどのKVキャッシュ圧縮方法に影響します。根本原因は位置コンテキストの伝播に失敗し、Qwen3-VL-8Bで10.7ppの精度低下を引き起こしていることです。

github llama.cpp · 6日前 · 19 回表示

llama.cpp b10165 が Vulkan FA に iq4_nl と q1_0 のサポートを追加

llama.cpp プロジェクトはビルド b10165 をリリースし、Flash Attention (FA) Vulkan バックエンドの iq4_nl 量子化サポートを復元しました。この変更は、共有メモリ使用量に関する懸念が無視できる程度であると判断された後、機能を再有効化することで問題 #23681 に対処します。