Un usuario cuantificó el modelo GLM-5.2 (753B MoE) a Int4-Int8Mix con caché KV NVFP4 de 4 bits y lo ejecutó en cuatro sistemas DGX Spark (GB10), logrando una puntuación de 70,8% en Terminal-Bench 2.1.

  • La configuración utilizó TP=4 en 4 nodos DGX Spark con un ancho de banda de ~273 GB/s y una ventana de contexto de 100K habilitada por el caché KV de 4 bits.
  • La inferencia utilizó descodificación especulativa MTP y gráficos CUDA FULL, produciendo aproximadamente 27,5 tokens por segundo.
  • El resultado de 63/89 tareas se compara con la puntuación oficial de precisión completa de 81,0% en el mismo andamio de agente Terminus-2.
  • La brecha de ~10 puntos incluye efectos de cuantización, un límite de contexto reducido de 100K frente a los 256K oficiales y un presupuesto de tokens menor.

La ejecución demuestra que un modelo de peso abierto en 4 bits en hardware de gama consumer puede retener aproximadamente el 87% del rendimiento oficial de precisión completa en benchmarks agénticos complejos.