github llama.cpp · 1時間前 · inference

llama.cpp b10150 が ggml のオフロードロジックを調整し、dsv4 グラフを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10150 をリリースしました。これには、重みのバックエンドへの演算のオフロードに関する ggml ロジックの調整が含まれています。このアップデートでは、llama dsv4 グラフの修正も対応しています。

ggml: 重みバックエンドへの演算オフロードロジックを調整
llama: dsv4 グラフの修正

本リリースでは、CPU、CUDA、Vulkan、ROCm、OpenVINO を含む様々なハードウェアバックエンド向けに、macOS、Linux、Windows、Android、iOS 用の更新されたバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

media Hugging Face Forums · 3時間前

TraceMLがHugging Face Trainerのコールバックを追加してデータ読み込みのボトルネックを診断

著者は、GPU計算バウンドと入力バウンドのトレーニングパフォーマンスの問題を区別するのを支援するために、オープンソースのPyTorch観測性プロジェクトであるTraceMLに診断ツールを統合しました。この新機能により、開発者は低GPU利用率が低速なデータ読み込みによるものか、実際のモデル計算の限界によるものかを迅速に特定できます。

github llama.cpp · 5時間前 · 1 回表示

Aaron Teoがllama.cppに-lm mlock引数を追加

Aaron Teoは、llama.cppリポジトリに対して新しい`-lm mlock`コマンドライン引数を導入する変更を提出しました。この追加により、コードが`mlock`操作を実行しているが`mmap`を使用していない領域で、ユーザーが明示的にメモリをロックできるようになります。

github llama.cpp · 4日前

llama.cpp b10093 が DeepSeek v4 テンプレートを修正し、drop_reasoning フラグを追加

llama.cpp プロジェクトは、DeepSeek v4 モデルのサポートを含む特定の更新を備えたビルド b10093 をリリースしました。このリリースではテンプレート処理が改善され、このモデルファミリー用の新しい設定フラグが導入されました。

github llama.cpp · 5日前 · 1 回表示

llama.cpp b10089 が CUDA GET_ROWS に完全な k-quant および i-quant サポートを追加

llama.cpp b10089 リリースは、k-quants、i-quants、mxfp4 量子化フォーマットをサポートするように CUDA GET_ROWS 操作を拡張します。この変更により、量子化されたすべての GGML タイプが埋め込みルックアップの直接デバイスパスを使用できるようになります。

github llama.cpp · 6日前

llama.cpp b10076 が int4 コピーで get_rows をベクトル化し、27% の高速化を実現

llama.cpp プロジェクトはビルド b10076 をリリースし、CUDA バックエンドの `get_rows` 操作を int4 コピーを使用してベクトル化することでパフォーマンス最適化を導入しました。この変更により、要素ごとのループから行不変の作業が持ち上げられ、連続した同種データに対してスレッドあたり 16 バイトをコピーするベクトル化パスが追加されました。