Un usuario demuestra la ejecución del modelo GLM 5.2 en una configuración de hardware personalizada que consta de cuatro GB10 GPUs conectadas mediante un switch de 100G, logrando aproximadamente 330k de longitud de contexto y ~25 tokens por segundo en la generación.
- La configuración utiliza TP4+DCP2 para un pool KV de ~360k, con velocidades de prefill que alcanzan 900-1000 t/s en prompts más largos.
- El uso de DCP4 extiende el contexto a 660k pero reduce la velocidad de prefill a ~400 t/s, mientras que eliminar DCP eleva el prefill a ~750 t/s.
- El rendimiento de decodificación varía según el tipo de contenido: las tareas de pensamiento obtienen ~20 tok/s, el código 25-35 tok/s y los turnos típicos en Pi producen ~24 tok/s.
- Podar el modelo entre un 5% y 10% podría permitir un contexto de 1M o mayor concurrencia, aunque se encontró que una poda sin datos del 10% pierde cierta adherencia a las instrucciones a pesar de preservar la capacidad de codificación.
- El costo total del hardware fue de aproximadamente $16k, con componentes que incluyen dos Acer GN100s, dos Asus GX10s y un switch Mikrotik CRS504.
El autor señala que, aunque esta configuración no es financieramente óptima para uso general, es una alternativa viable a ejecutar GLM localmente en un Mac Studio de 512GB, que reportedly logra solo 12 tok/s de decodificación.