GLM-5.2-Int4-Int8が8× GB10で~1,200 t/sのprefillと33–54 t/sのdecodeを達成

本記事は、8つのGB10アクセラレータ上で実行されるGLM-5.2-Int4-Int8モデルのベンチマーク結果を報告しています。この構成は、prefill中に約1,200トークン/秒、デコーディング中に平均33〜54トークン/秒を達成します。

• prefillスループットは~1,200 t/sに達する。
• 平均decodeスループットは33〜54 t/sの範囲。
• このセットアップは、GLM-5.2と画像/音声入力を処理する並列Mimo 2.5モデルの両方でテンソル並列性(tp) 8をサポートします。

このパフォーマンスプロファイルにより、システムは同じハードウェア上でGLM-5.2をMimo 2.5などの他のモデルと同時に実行できます。