Um usuário fez um benchmark do modelo MiniMax M2.7 REAP 139B Q3_K_L em duas configurações de multi-GPU: seis cartões AMD MI50 com 96GB de VRAM total e seis cartões NVIDIA Tesla P40 com 144GB de VRAM total.
- A configuração P40 (CUDA) superou significativamente a configuração MI50 (ROCm) nos testes de prefill, sendo de ~1.13x a ~3.18x mais rápida dependendo do comprimento do contexto.
- A configuração MI50 foi mais rápida na geração de tokens (tg128), alcançando 24.87 t/s em comparação com os 20.49 t/s do P40.
- Ambas as configurações foram executadas em placas-mãe Asus X99-E-WS com CPUs Intel Xeon E5-2680 v4 e 128GB de RAM.
Os resultados indicam que, apesar das especificações individuais superiores do MI50, o cluster P40 manteve um desempenho competitivo para esta configuração específica do modelo.