El conmutador PEX8749 permite 6 MI50 con pérdida de rendimiento despreciable

Un usuario probó ejecutar seis GPUs AMD MI50 en una placa base Asus X99-E-WS utilizando un conmutador PCIe PEX8749 para conectar cuatro tarjetas, mientras que las dos restantes se conectaron directamente. El objetivo era determinar si esta configuración mejoraba o degradaba las velocidades de generación de tokens (tg) y procesamiento de prompts (pp) en comparación con las seis GPUs funcionando directamente.

• Prueba del modelo dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B en un Intel Xeon E5-2680 v4 con 128 GB de RAM.
• La configuración del conmutador resultó en un cambio de -0,74% para pp512 y un cambio de -0,36% para pp16384+tg128.
• Las velocidades de generación de tokens mejoraron un +2,73% para tg128 y un +0,83% para pp65536+tg128.
• La prueba combinada pp512+tg128 mostró una mejora del +1,90%, mientras que pp4096+tg128 permaneció casi idéntica en +0,01%.

Los resultados indican que usar el conmutador PEX8749 para expandir la capacidad de GPU introduce una pérdida de rendimiento despreciable, con las velocidades de generación de tokens viendo mejoras ligeras en varios benchmarks.