github llama.cpp · 3時間前 · inference

llama.cpp b10180 が SYCL ユーニオペレーションの連続高速パスと32ビットインデックス数学を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10180 をリリースし、SYCL バックエンドのパフォーマンス最適化を導入しました。この更新では、連続した高速パスが実装され、要素ごとのインデックス計算が 32 ビット整数を使用した fastdiv に切り替えられました。

SYCL: ユーニオペーテーション用の連続高速パス + 32 ビットインデックス数学
SYCL: 要素ごとのインデックス計算に fastdiv を使用

このリリースでは、CPU、GPU、および各種アクセラレーターバックエンド向けに、macOS、Linux、Windows、Android、openEuler のバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 2日前 · 3 回表示

llama.cpp b10155 が MiMo-V2.5 オーディオサポートを追加

llama.cpp プロジェクトはビルド b10155 をリリースし、MiMo-V2.5 オーディオ入力モデルのサポートを導入しました。このアップデートには MiMo オーディオ用の GGUF コンバーターが含まれ、RVQ ベースのオーディオモデルを処理するための必要な C++ バックエンドロジックが実装されています。

github llama.cpp · 2日前 · 2 回表示

llama.cpp b10150 が ggml のオフロードロジックを調整し、dsv4 グラフを修正

llama.cpp プロジェクトはビルド b10150 をリリースしました。これには、重みのバックエンドへの演算のオフロードに関する ggml ロジックの調整が含まれています。このアップデートでは、llama dsv4 グラフの修正も対応しています。

media Hugging Face Forums · 2日前 · 2 回表示

TraceMLがHugging Face Trainerのコールバックを追加してデータ読み込みのボトルネックを診断

著者は、GPU計算バウンドと入力バウンドのトレーニングパフォーマンスの問題を区別するのを支援するために、オープンソースのPyTorch観測性プロジェクトであるTraceMLに診断ツールを統合しました。この新機能により、開発者は低GPU利用率が低速なデータ読み込みによるものか、実際のモデル計算の限界によるものかを迅速に特定できます。

github llama.cpp · 2日前 · 6 回表示

Aaron Teoがllama.cppに-lm mlock引数を追加

Aaron Teoは、llama.cppリポジトリに対して新しい`-lm mlock`コマンドライン引数を導入する変更を提出しました。この追加により、コードが`mlock`操作を実行しているが`mmap`を使用していない領域で、ユーザーが明示的にメモリをロックできるようになります。

github llama.cpp · 6日前 · 1 回表示

llama.cpp b10093 が DeepSeek v4 テンプレートを修正し、drop_reasoning フラグを追加

llama.cpp プロジェクトは、DeepSeek v4 モデルのサポートを含む特定の更新を備えたビルド b10093 をリリースしました。このリリースではテンプレート処理が改善され、このモデルファミリー用の新しい設定フラグが導入されました。