Коммутатор PEX8749 позволяет подключить 6 MI50 с пренебрежимо малой потерей производительности

Пользователь протестировал работу шести GPU AMD MI50 на материнской плате Asus X99-E-WS, используя коммутатор PCIe PEX8749 для подключения четырех карт, в то время как оставшиеся две были подключены напрямую. Цель заключалась в том, чтобы определить, улучшает ли эта конфигурация или ухудшает скорости генерации токенов (tg) и обработки запросов (pp) по сравнению со всеми шестью GPU, работающими напрямую.

• Тестирование модели dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B на Intel Xeon E5-2680 v4 с 128 ГБ ОЗУ.
• Конфигурация с коммутатором привела к изменению на -0,74% для pp512 и на -0,36% для pp16384+tg128.
• Скорости генерации токенов улучшились на +2,73% для tg128 и на +0,83% для pp65536+tg128.
• Тест pp512+tg128 показал улучшение на +1,90%, в то время как pp4096+tg128 остался практически идентичным с изменением +0,01%.

Результаты указывают на то, что использование коммутатора PEX8749 для расширения емкости GPU приводит к пренебрежимо малой потере производительности, при этом скорости генерации токенов фактически демонстрируют небольшое улучшение по нескольким бенчмаркам.