github llama.cpp · 1時間前 · inference

llama.cpp b10581 が bailinmoe3 の DSpark サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10581 をリリースし、bailinmoe3 モデルを有効にするために DSpark バックエンドのサポートを導入しました。

リリースには、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x)、Windows (x64 および arm64)、Android (arm64) 用のバイナリが含まれています。
GPU アクセラレーションは、サポートされているプラットフォーム上で CUDA 12.4/13.3、Vulkan、OpenCL Adreno、ROCm 7.14、OpenVINO、SYCL を介して利用可能です。
Bailinmoe3 のサポートは、プルリクエスト #27508 で詳述されている DSpark バックエンドを特に使用しています。
このビルドでは、KleidiAI を備えた macOS Apple Silicon と ROCm 7.14 を備えた Ubuntu x64 は現在無効になっています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

ggml ライブラリは、要素ごとのメモリコピーを行レベルの memcpy 操作に置き換えることで、連結演算を最適化しました。この変更は llama.cpp の b10578 リリースの一部であり、プラットフォーム固有のバイナリや基盤となる計算グラフの更新が含まれています。

llama.cpp プロジェクトは、SYCL サポートのために Q2_K 再順序付け MMVQ および ESIMD カーネルを再追加したビルド b10576 をリリースしました。この変更は、これらの特定のカーネル実装を削除していた以前のコミットを実質的に元に戻すものです。

llama.cpp プロジェクトはビルド b10577 をリリースしました。これには、埋め込みと組み合わせて使用する場合の draft-mtp の修正が含まれています。このアップデートでは問題 #26352 と #27299 が解決されました。

llama.cpp の mtmd コンポーネントは、ffmpeg との統合により、WebP 画像形式をサポートするようになりました。

llama.cpp プロジェクトはビルド b10568 をリリースし、モデル処理を `ggml_rope_set_offset()` 関数を使用するように更新しました。この変更は DeepSeek 2 のサポートのために部分的に適用されています。