Un utilisateur a testé le modèle MiniMax M2.7 REAP 139B Q3_K_L sur deux configurations multi-GPU : six cartes AMD MI50 avec 96 Go de VRAM total et six cartes NVIDIA Tesla P40 avec 144 Go de VRAM total.
- La configuration P40 (CUDA) a largement surpassé la configuration MI50 (ROCm) lors des tests de préremplissage, étant environ 1,13x à 3,18x plus rapide selon la longueur du contexte.
- La configuration MI50 était plus rapide pour la génération de tokens (tg128), atteignant 24,87 t/s contre 20,49 t/s pour le P40.
- Les deux configurations ont fonctionné sur des cartes mères Asus X99-E-WS avec des CPU Intel Xeon E5-2680 v4 et 128 Go de RAM.
Les résultats indiquent que malgré les spécifications individuelles supérieures du MI50, le cluster P40 a maintenu des performances compétitives pour cette configuration de modèle spécifique.