GLM-5.2-Int4-Int8 mencapai ~1.200 t/s prefill dan 33–54 t/s decode pada 8× GB10

Artikel ini melaporkan hasil benchmark untuk model GLM-5.2-Int4-Int8 yang berjalan pada delapan akselerator GB10. Konfigurasi ini mencapai sekitar 1.200 token per detik selama prefill dan rata-rata 33–54 token per detik selama decoding.

• Throughput prefill mencapai ~1.200 t/s.
• Throughput decode rata-rata berkisar dari 33 hingga 54 t/s.
• Setup ini mendukung parallelisme tensor (tp) 8 untuk GLM-5.2 dan model Mimo 2.5 paralel yang menangani input gambar/audio.

Profil kinerja ini memungkinkan sistem menjalankan GLM-5.2 alongside model lain seperti Mimo 2.5 pada perangkat keras yang sama.