github llama.cpp · たった今 · inference

llama.cpp b10541 がマルチモーダルプロジェクト用の --mmproj-device 引数を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10541 をリリースし、マルチモーダル投影ファイルの読み込みに使用するデバイスバックエンドをユーザーが指定できるようにする `--mmproj-device` コマンドライン引数を導入しました。

新しい引数は、後方互換性のある `MTMD_BACKEND_DEVICE` 環境変数によってサポートされています。
この機能への迅速なアクセスのために短いフラグ `-mmdev` も利用可能です。
リリースには、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x with CPU、Vulkan、OpenVINO、SYCL)、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)、Android、および openEuler 用のバイナリが含まれています。
このリリースでは、更新された UI バイナリも提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10532がFlash Attention向けのMetal KV dequantizationを追加

llama.cppプロジェクトはバージョンb10532をリリースし、Metalバックエンドで量子化されたKey-Value (KV) キャッシュをF16にデ量子化する前処理パスを導入しました。これはFlash Attentionの実行前に適用されます。

github llama.cpp · 10時間前 · 2 回表示

llama.cpp b10517 が Vulkan FA 脱量子化の最適化と修正を追加

llama.cpp プロジェクトはビルド b10517 をリリースし、フラッシュアテンション (FA) 脱量子化パスに Vulkan 固有の改善をいくつか導入しました。主な変更点には、coopmat1 で q8_0 KV を一度脱量子化する、coopmat2 で FA 脱量子化パスをスキップする、Intel Xe1 を FA 脱量子化パスから除外するなどが含まれます。

github llama.cpp · 20日前 · 35 回表示

llama.cpp b10208がXMXアクセラレーションされたプロンプト処理のためのoneMKL GEMMフラッシュアテンションを追加

llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。

github llama.cpp · 29日前 · 26 回表示

llama.cpp b10089 が CUDA GET_ROWS に完全な k-quant および i-quant サポートを追加

llama.cpp b10089 リリースは、k-quants、i-quants、mxfp4 量子化フォーマットをサポートするように CUDA GET_ROWS 操作を拡張します。この変更により、量子化されたすべての GGML タイプが埋め込みルックアップの直接デバイスパスを使用できるようになります。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10545 が K が32の倍数でない場合のMetal matmulでの境界外読み取りを修正

llama.cppプロジェクトはビルドb10545をリリースし、MetalバックエンドのテンソルAPI行列乗算カーネルの重要なバグに対処しました。この更新は、K次元が32の倍数でないテンサーを処理する際の未定義動作や破損した結果を防ぎます。