github llama.cpp · 1時間前 · inference

ggml が concat 演算を最適化し、要素ごとの memcpy を行レベルの memcpy に置き換え

翻訳元 English → 日本語

ggml ライブラリは、要素ごとのメモリコピーを行レベルの memcpy 操作に置き換えることで、連結演算を最適化しました。この変更は llama.cpp の b10578 リリースの一部であり、プラットフォーム固有のバイナリや基盤となる計算グラフの更新が含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp プロジェクトは、SYCL サポートのために Q2_K 再順序付け MMVQ および ESIMD カーネルを再追加したビルド b10576 をリリースしました。この変更は、これらの特定のカーネル実装を削除していた以前のコミットを実質的に元に戻すものです。

llama.cpp プロジェクトはビルド b10577 をリリースしました。これには、埋め込みと組み合わせて使用する場合の draft-mtp の修正が含まれています。このアップデートでは問題 #26352 と #27299 が解決されました。

llama.cpp プロジェクトはビルド b10568 をリリースし、モデル処理を `ggml_rope_set_offset()` 関数を使用するように更新しました。この変更は DeepSeek 2 のサポートのために部分的に適用されています。

llama.cppプロジェクトは、ggmlライブラリとの同期がバージョン0.21.0に引き上げられたバージョン0.2.0をリリースしました。このアップデートでは、さまざまなハードウェアプラットフォームにわたるバックエンドの改善と新機能がいくつか導入されました。

llama.cpp プロジェクトはビルド b10541 をリリースし、マルチモーダル投影ファイルの読み込みに使用するデバイスバックエンドをユーザーが指定できるようにする `--mmproj-device` コマンドライン引数を導入しました。