Switch PEX8749 permite 6 MI50 com perda de desempenho desprezível

Um usuário testou a execução de seis GPUs AMD MI50 em uma placa-mãe Asus X99-E-WS usando um switch PCIe PEX8749 para conectar quatro placas, enquanto as duas restantes foram conectadas diretamente. O objetivo era determinar se essa configuração melhorava ou degradava as velocidades de geração de tokens (tg) e processamento de prompts (pp) em comparação com todas as seis GPUs rodando diretamente.

• Testando o modelo dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B em um Intel Xeon E5-2680 v4 com 128GB de RAM.
• A configuração do switch resultou em uma mudança de -0,74% para pp512 e uma mudança de -0,36% para pp16384+tg128.
• As velocidades de geração de tokens melhoraram em +2,73% para tg128 e +0,83% para pp65536+tg128.
• O teste combinado pp512+tg128 mostrou uma melhoria de +1,90%, enquanto pp4096+tg128 permaneceu quase idêntico em +0,01%.

Os resultados indicam que usar o switch PEX8749 para expandir a capacidade da GPU introduz uma perda de desempenho desprezível, com as velocidades de geração de tokens vendo melhorias ligeiras em vários benchmarks.