github llama.cpp · 2時間前 · inference

llama.cpp b10568 が DeepSeek 2 に ggml_rope_set_offset() を使用

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10568 をリリースし、モデル処理を `ggml_rope_set_offset()` 関数を使用するように更新しました。この変更は DeepSeek 2 のサポートのために部分的に適用されています。

リリースには、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x)、Windows、Android、openEuler 用のバイナリが含まれています。
サポートされているバックエンドには、CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL、CUDA 12/13、OpenCL Adreno が含まれます。
このビルドでは、KleidiAI を搭載した macOS Apple Silicon と ROCm 7.14 を搭載した Ubuntu x64 は現在無効になっています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

github llama.cpp · 22時間前 · 4 回表示

llama.cpp b10541 がマルチモーダルプロジェクト用の --mmproj-device 引数を追加

llama.cpp プロジェクトはビルド b10541 をリリースし、マルチモーダル投影ファイルの読み込みに使用するデバイスバックエンドをユーザーが指定できるようにする `--mmproj-device` コマンドライン引数を導入しました。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10532がFlash Attention向けのMetal KV dequantizationを追加

llama.cppプロジェクトはバージョンb10532をリリースし、Metalバックエンドで量子化されたKey-Value (KV) キャッシュをF16にデ量子化する前処理パスを導入しました。これはFlash Attentionの実行前に適用されます。

github llama.cpp · 1日前 · 2 回表示

llama.cpp b10517 が Vulkan FA 脱量子化の最適化と修正を追加

llama.cpp プロジェクトはビルド b10517 をリリースし、フラッシュアテンション (FA) 脱量子化パスに Vulkan 固有の改善をいくつか導入しました。主な変更点には、coopmat1 で q8_0 KV を一度脱量子化する、coopmat2 で FA 脱量子化パスをスキップする、Intel Xe1 を FA 脱量子化パスから除外するなどが含まれます。

github llama.cpp · 21日前 · 38 回表示

llama.cpp b10208がXMXアクセラレーションされたプロンプト処理のためのoneMKL GEMMフラッシュアテンションを追加

llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。

github llama.cpp · 30日前 · 26 回表示

llama.cpp b10089 が CUDA GET_ROWS に完全な k-quant および i-quant サポートを追加

llama.cpp b10089 リリースは、k-quants、i-quants、mxfp4 量子化フォーマットをサポートするように CUDA GET_ROWS 操作を拡張します。この変更により、量子化されたすべての GGML タイプが埋め込みルックアップの直接デバイスパスを使用できるようになります。