Um usuário demonstra a execução do modelo GLM 5.2 em uma configuração de hardware personalizada composta por quatro GPUs GB10 conectadas via switch de 100G, alcançando aproximadamente 330k de comprimento de contexto e ~25 tokens por segundo na geração.
- A configuração usa TP4+DCP2 para um pool KV de ~360k, com velocidades de prefill atingindo 900-1000 t/s em prompts mais longos.
- Usar DCP4 estende o contexto para 660k, mas reduz a velocidade de prefill para ~400 t/s, enquanto remover o DCP aumenta o prefill para ~750 t/s.
- O desempenho de decodificação varia conforme o tipo de conteúdo: tarefas de raciocínio obtêm ~20 tok/s, código obtém 25-35 tok/s e rodadas típicas no Pi rendem ~24 tok/s.
- Poda o modelo em 5-10% pode permitir contexto de 1M ou maior concorrência, embora uma poda sem dados de 10% tenha sido encontrada para perder alguma aderência às instruções apesar de preservar a capacidade de codificação.
- O custo total do hardware foi de aproximadamente $16k, com componentes incluindo dois Acer GN100s, dois Asus GX10s e um switch Mikrotik CRS504.
O autor observa que, embora esta configuração não seja financeiramente ideal para uso geral, é uma alternativa viável para executar GLM localmente em um Mac Studio de 512GB, que reportedly alcança apenas 12 tok/s de decodificação.