github llama.cpp · 1時間前 · inference

llama.cpp b10603 が GLM-4.5-Air の MTP サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10603 をリリースし、GLM-4.5-Air モデルのマルチトークン予測（MTP）サポートを導入しました。

pull request #26534 経由で GLM-4.5-Air の MTP 機能を追加。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、ROCm)、openEuler 用のバイナリを提供。

このリリースにより、ユーザーは幅広いハードウェアアーキテクチャで MTP を使用して GLM-4.5-Air を実行できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

ggml ライブラリは、要素ごとのメモリコピーを行レベルの memcpy 操作に置き換えることで、連結演算を最適化しました。この変更は llama.cpp の b10578 リリースの一部であり、プラットフォーム固有のバイナリや基盤となる計算グラフの更新が含まれています。

llama.cpp プロジェクトは、SYCL サポートのために Q2_K 再順序付け MMVQ および ESIMD カーネルを再追加したビルド b10576 をリリースしました。この変更は、これらの特定のカーネル実装を削除していた以前のコミットを実質的に元に戻すものです。

llama.cpp プロジェクトはビルド b10577 をリリースしました。これには、埋め込みと組み合わせて使用する場合の draft-mtp の修正が含まれています。このアップデートでは問題 #26352 と #27299 が解決されました。

llama.cpp プロジェクトはビルド b10568 をリリースし、モデル処理を `ggml_rope_set_offset()` 関数を使用するように更新しました。この変更は DeepSeek 2 のサポートのために部分的に適用されています。

llama.cppプロジェクトは、ggmlライブラリとの同期がバージョン0.21.0に引き上げられたバージョン0.2.0をリリースしました。このアップデートでは、さまざまなハードウェアプラットフォームにわたるバックエンドの改善と新機能がいくつか導入されました。