あるユーザーが、100Gスイッチで接続された4つのGB10 GPUからなるカスタムハードウェア構成でGLM 5.2モデルを実行し、約330kのコンテキスト長と生成速度で秒あたり約25トークンを達成しました。

  • TP4+DCP2構成によりKVプールは約360kとなり、長いプロンプトではプリフィル速度が900〜1000 t/sに達します。
  • DCP4を使用するとコンテキストは660kまで拡張されますが、プリフィル速度は秒あたり約400トークンに低下し、DCPを削除するとプリフィル速度は秒あたり約750トークンに向上します。
  • デコーディング性能はコンテンツタイプによって異なります：思考タスクでは秒あたり約20トークン、コード生成では25〜35 tok/s、Piでの通常の対話では秒あたり約24トークンです。
  • モデルを5〜10%プルーニングすることで1Mコンテキストまたはより高い同時実行が可能になる可能性がありますが、データなしで10%プルーニングするとコーディング能力は維持されるものの、指示への準拠性が一部失われることが判明しました。
  • 総ハードウェアコストは約1万6千ドルで、構成要素にはAcer GN100が2台、Asus GX10が2台、Mikrotik CRS504スイッチが含まれます。

著者は、この構成が一般的な用途にとって費用対効果が高いわけではないと指摘していますが、512GB Mac StudioでGLMをローカルに実行する場合（デコーディング速度は秒あたり12トークン程度と報告されている）の代替手段として実用的であると述べています。