GLM-5.2 em 4 bits em 4× DGX Spark atinge 70,8% no Terminal-Bench 2.1

Um usuário quantizou o modelo GLM-5.2 (753B MoE) para Int4-Int8Mix com cache KV NVFP4 de 4 bits e o executou em quatro sistemas DGX Spark (GB10), alcançando uma pontuação de 70,8% no Terminal-Bench 2.1.

• A configuração utilizou TP=4 em 4 nós DGX Spark com largura de banda de ~273 GB/s e uma janela de contexto de 100K habilitada pelo cache KV de 4 bits.
• A inferência utilizou descodificação especulativa MTP e gráficos CUDA FULL, produzindo aproximadamente 27,5 tokens por segundo.
• O resultado de 63/89 tarefas é comparado à pontuação oficial de precisão completa de 81,0% no mesmo scaffold de agente Terminus-2.
• A lacuna de ~10 pontos inclui efeitos da quantização, um limite de contexto reduzido de 100K em comparação com os 256K oficiais e um orçamento de tokens menor.

A execução demonstra que um modelo de pesos abertos em 4 bits em hardware de consumo pode reter aproximadamente 87% do desempenho oficial de precisão completa em benchmarks agênticos complexos.