Un utilisateur détaille son processus de mise à niveau matérielle étendu pour exécuter le modèle GLM 5.2 localement, aboutissant à une configuration de cinq GPU AMD Radeon Pro W6800 et un NVIDIA RTX 5090.

  • L'auteur a commencé avec deux RTX 5090 mais a trouvé la VRAM insuffisante pour des tâches complexes.
  • Les mises à niveau comprenaient le Threadripper Pro 9975WX, la carte mère WRX90 Sage SE et plusieurs cartes AMD Radeon Pro W6800.
  • Les problèmes thermiques ont forcé l'abandon des configurations GPU côte à côte au profit de designs à boîtier ouvert.
  • La configuration finale 5x Pro 6000 + 5090 a atteint des taux de complétion de tâches de 98–99% avec un contexte ample.
  • Les GPU ont atteint 70–75°C en charge maximale, nécessitant un deuxième PSU et d'extensives solutions de refroidissement.

L'auteur conclut que bien que la configuration réponde à tous les besoins fonctionnels pour exécuter GLM 5.2 et les modèles Kimi, elle est financièrement non viable, estimant plus de 10 ans pour atteindre le seuil de rentabilité.