github llama.cpp · 1時間前 · inference

llama.cpp b10610 が CUDA および Metal の仮想デバイス名を短縮

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10610 をリリースしました。これには、CUDA および Metal 両プラットフォームの ggml バックエンド内での仮想デバイス名の短縮変更が含まれています。

この更新により、CUDA および Metal バックエンドでの仮想デバイスの命名方法が変更され、冗長性が削減されました。
KleidiAI サポート付きの macOS Apple Silicon ビルドは、このリリースでは無効のままです。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL)、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm 7.14)、Android、および openEuler 用のバイナリが提供されています。

このリリースでは、各種ハードウェアアクセラレータおよびオペレーティングシステム向けに更新されたバイナリを提供するとともに、内部デバイス識別文字列を精緻化しています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp プロジェクトは、Mamba2 アーキテクチャ向けの重要な最適化を含むビルド b10605 をリリースしました。この更新では、Mamba2 モデルの入力および出力射影を平坦化し、汎用行列ベクトル (GEMV) 演算の代わりに汎用行列乗算 (GEMM) 演算をディスパッチします。

llama.cpp プロジェクトはビルド b10603 をリリースし、GLM-4.5-Air モデルのマルチトークン予測（MTP）サポートを導入しました。

ggml ライブラリは、要素ごとのメモリコピーを行レベルの memcpy 操作に置き換えることで、連結演算を最適化しました。この変更は llama.cpp の b10578 リリースの一部であり、プラットフォーム固有のバイナリや基盤となる計算グラフの更新が含まれています。

llama.cpp プロジェクトは、SYCL サポートのために Q2_K 再順序付け MMVQ および ESIMD カーネルを再追加したビルド b10576 をリリースしました。この変更は、これらの特定のカーネル実装を削除していた以前のコミットを実質的に元に戻すものです。

llama.cpp プロジェクトはビルド b10577 をリリースしました。これには、埋め込みと組み合わせて使用する場合の draft-mtp の修正が含まれています。このアップデートでは問題 #26352 と #27299 が解決されました。