Un utilisateur démontre l'exécution du modèle GLM 5.2 sur une configuration matérielle personnalisée composée de quatre GB10 GPUs connectés via un switch 100G, atteignant environ 330k de longueur de contexte et ~25 tokens par seconde en génération.
- La configuration utilise TP4+DCP2 pour un pool KV d'environ 360k, avec des vitesses de préremplissage atteignant 900-1000 t/s sur les invites plus longues.
- L'utilisation de DCP4 étend le contexte à 660k mais réduit la vitesse de préremplissage à ~400 t/s, tandis que la suppression de DCP augmente le préremplissage à ~750 t/s.
- Les performances de décodage varient selon le type de contenu : les tâches de réflexion obtiennent ~20 tok/s, le code 25-35 tok/s, et les tours typiques dans Pi donnent ~24 tok/s.
- L'élagage du modèle de 5 à 10 % pourrait permettre un contexte de 1M ou une concurrence plus élevée, bien qu'un élagage sans données de 10 % ait entraîné une perte d'adhérence aux instructions malgré la préservation des capacités de codage.
- Le coût total du matériel était d'environ 16k $, avec des composants incluant deux Acer GN100s, deux Asus GX10s et un switch Mikrotik CRS504.
L'auteur note que bien que cette configuration ne soit pas financièrement optimale pour une utilisation générale, elle constitue une alternative viable à l'exécution de GLM localement sur un Mac Studio 512Go, qui n'atteindrait que 12 tok/s en décodage.