あるユーザーがGLM-5.2 (753B MoE) モデルをNVFP4 4bit KVキャッシュを用いたInt4-Int8Mixに量子化し、4台のDGX Spark (GB10) システムで実行してTerminal-Bench 2.1で70.8%のスコアを達成した。

  • 設定は4台のDGX Sparkノード間でTP=4を使用し、~273 GB/sの帯域幅と4bit KVキャッシュによって可能になった100Kのコンテキストウィンドウを利用した。
  • 推論にはMTP予測的デコードとFULL CUDAグラフが利用され、約27.5 tok/sを達成した。
  • 63/89タスクの結果は、同じTerminus-2エージェントスケールフールドでの公式のフル精度スコア81.0%と比較されている。
  • ~10ポイントのギャップには、量子化の影響、公式の256Kに対する100Kのコンテキスト制限、およびより少ないトークン予算が含まれる。

この実行は、4bitのオープンウェイトモデルがコンシューマーグレードのハードウェア上で複雑なエージェントベンチマークにおいて公式のフル精度パフォーマンスの約87%を維持できることを示している。