github llama.cpp · 4日前 · inference

llama.cpp b10827 が q4_K および q5_K mul_mat の OpenCL 重みパック選択を修正

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10827 をリリースしました。これには、OpenCL を使用して q4_K および q5_K 行列乗算演算の重みパックを適切に選択するための修正が含まれています。

リリースでは、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x)、Windows (CPU、CUDA 12/13、Vulkan、ROCm、SYCL)、Android、および iOS のバイナリが提供されています。
OpenCL Adreno サポートは Windows arm64 で利用可能ですが、KleidiAI は macOS Apple Silicon では無効のままです。
アップデートには、新しい UI ビルドと検証用のアテステーションリンクも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

llama.cpp b10840 が CUDA 向けに分岐なし Q4_K/Q5_K 展開と L2 プリフェッチを追加

llama.cpp プロジェクトはバージョン b10840 をリリースし、CUDA 推論の性能最適化を導入しました。このアップデートは、行列-ベクトル乗算 (mmvq) の高速化のために Q4_K および Q5_K 量子化フォーマットに対する分岐なし計算を実装しています。

github llama.cpp · 7日前 · 21 回表示

llama.cpp b10791がOpenCLの量子化lm_headおよびデコードGEMVの最適化を追加

llama.cppプロジェクトはバージョンb10791をリリースし、量子化された言語モデルのヘッドとデコードGEMV演算に対する重要なOpenCL最適化を導入しました。このアップデートには、推論デコーディングやマルチトークン予測に関連するミディアムバッチGEMMの改善も含まれています。

lab Hugging Face Blog · 9日前 · 13 回表示

Hugging Faceが207のWebGPUカーネルとブラウザベンチマークツールをリリース

Hugging Faceは、Hugging Face Hubから最適化されたWebGPUカーネルを読み込んで実行するためのライブラリである@huggingface/kernelsと、207個のカーネルの初期コレクションをリリースしました。また、ユーザーのデバイスからパフォーマンスと正確性の証拠を集約するブラウザ内GPUベンチマークスイート「Fleet」も導入されました。

github llama.cpp · 10日前 · 19 回表示

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 12日前 · 19 回表示

llama.cppがAdreno GPUでxmem GEMMを有効化し、タイル分割f32をバイパス

llama.cppプロジェクトは、2世代のAdreno GPUにおける行列乗算のパフォーマンスを向上させるため、OpenCLバックエンドを更新しました。この変更は主にX2E世代を対象としており、xmem F16xF32 GEMMパスをデフォルトで有効にし、A7X世代の処理を最適化しています。