GLM-5.2 4-bit pada 4× DGX Spark mencapai 70,8% di Terminal-Bench 2.1

Seorang pengguna melakukan kuantisasi model GLM-5.2 (753B MoE) ke Int4-Int8Mix dengan cache KV NVFP4 4-bit dan menjalankannya pada empat sistem DGX Spark (GB10), mencapai skor 70,8% di Terminal-Bench 2.1.

• Pengaturan menggunakan TP=4 di seluruh 4× simpul DGX Spark dengan bandwidth ~273 GB/s dan jendela konteks 100K yang diaktifkan oleh cache KV 4-bit.
• Inferensi memanfaatkan decode spekulatif MTP dan FULL CUDA graphs, menghasilkan sekitar 27,5 tok/detik.
• Hasil dari 63/89 tugas dibandingkan dengan skor presisi penuh resmi sebesar 81,0% pada scaffold agen Terminus-2 yang sama.
• Kesenjangan ~10 poin mencakup efek kuantisasi, batas konteks 100K yang lebih kecil dibandingkan 256K resmi, dan anggaran token yang lebih kecil.

Jalankan ini menunjukkan bahwa model open-weight 4-bit pada perangkat keras kelas konsumen dapat mempertahankan sekitar 87% dari kinerja presisi penuh resmi pada benchmark agen kompleks.