Seorang pengguna mendemonstrasikan menjalankan model GLM 5.2 pada setup perangkat keras kustom yang terdiri dari empat GB10 GPU yang terhubung melalui saklar 100G, mencapai panjang konteks sekitar 330k dan ~25 token per detik dalam generasi.
- Konfigurasi menggunakan TP4+DCP2 untuk kolam KV ~360k, dengan kecepatan prefill mencapai 900-1000 t/s pada prompt yang lebih panjang.
- Menggunakan DCP4 memperpanjang konteks menjadi 660k tetapi mengurangi kecepatan prefill menjadi ~400 t/s, sementara menurunkan DCP meningkatkan prefill menjadi ~750 t/s.
- Performa decoding bervariasi berdasarkan jenis konten: tugas berpikir mendapatkan ~20 tok/s, kode mendapatkan 25-35 tok/s, dan giliran khas di Pi menghasilkan ~24 tok/s.
- Memangkas model sebesar 5-10% mungkin memungkinkan konteks 1M atau konkurensi lebih tinggi, meskipun memangkas tanpa data sebesar 10% ditemukan kehilangan beberapa kepatuhan instruksi meskipun mempertahankan kemampuan coding.
- Total biaya perangkat keras adalah sekitar $16k, dengan komponen termasuk dua Acer GN100s, dua Asus GX10s, dan saklar Mikrotik CRS504.
Penulis mencatat bahwa setup ini tidak optimal secara finansial untuk penggunaan umum, tetapi merupakan alternatif yang layak untuk menjalankan GLM secara lokal di Mac Studio 512GB, yang dilaporkan hanya mencapai decode 12 tok/s.