Un utilisateur a quantifié le modèle GLM-5.2 (753B MoE) en Int4-Int8Mix avec un cache KV NVFP4 4-bit et l'a exécuté sur quatre systèmes DGX Spark (GB10), atteignant un score de 70,8 % sur Terminal-Bench 2.1.

  • La configuration utilisait TP=4 sur 4× nœuds DGX Spark avec une bande passante d'environ 273 Go/s et une fenêtre de contexte de 100K activée par le cache KV 4-bit.
  • L'inférence a utilisé le décodage spéculatif MTP et des graphes CUDA FULL, produisant environ 27,5 tok/s.
  • Le résultat de 63/89 tâches est comparé au score officiel en pleine précision de 81,0 % sur le même échafaudage Terminus-2 agent.
  • L'écart d'environ 10 points inclut les effets de la quantification, une limite de contexte réduite à 100K par rapport aux 256K officiels, et un budget de tokens plus faible.

L'exécution démontre qu'un modèle open-weight en 4-bit sur du matériel grand public peut conserver environ 87 % des performances officielles en pleine précision sur des benchmarks agents complexes.