Le commutateur PEX8749 permet de connecter 6 MI50 avec une perte de performance négligeable

Un utilisateur a testé l'exécution de six GPU AMD MI50 sur une carte mère Asus X99-E-WS en utilisant un commutateur PCIe PEX8749 pour connecter quatre cartes, tandis que les deux restantes étaient connectées directement. L'objectif était de déterminer si cette configuration améliorait ou dégradait les vitesses de génération de tokens (tg) et de traitement des prompts (pp) par rapport à l'exécution directe des six GPU.

• Test du modèle dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B sur un Intel Xeon E5-2680 v4 avec 128 Go de RAM.
• La configuration avec commutateur a entraîné une variation de -0,74 % pour pp512 et de -0,36 % pour pp16384+tg128.
• Les vitesses de génération de tokens ont augmenté de +2,73 % pour tg128 et de +0,83 % pour pp65536+tg128.
• Le test combiné pp512+tg128 a montré une amélioration de +1,90 %, tandis que pp4096+tg128 est resté quasi identique à +0,01 %.

Les résultats indiquent que l'utilisation du commutateur PEX8749 pour étendre la capacité GPU introduit une perte de performance négligeable, les vitesses de génération de tokens voyant même de légères améliorations sur plusieurs benchmarks.