あるユーザーが、SGLang経由のH200 GPU上でGLM 5.2モデルをFP8精度およびFP8キーバリューキャッシュ量子化でテストしました。評価はTerminal-Bench 2.1ベンチマークスイートで行われました。
- モデルは89タスクのうち71タスクに合格し、スコアは79.8%となりました。
- 1つのタスクがタイムアウトし再実行されなかったため、最終スコアに影響を与えた可能性があります。
- テストでは218,656,815の入力トークンが使用され、キャッシュヒット率は98.8%でした。
これは、高性能ハードウェア上の特定の量子化条件下でのGLM 5.2のパフォーマンスを示しています。