Бенчмарк показывает, что 6x P40 превосходят 6x MI50 в работе с MiniMax M2.7 REAP 139B

Пользователь протестировал модель MiniMax M2.7 REAP 139B Q3_K_L на двух многопроцессорных GPU конфигурациях: шесть карт AMD MI50 с общим объемом VRAM 96 ГБ и шесть карт NVIDIA Tesla P40 с общим объемом VRAM 144 ГБ.

• Конфигурация P40 (CUDA) значительно превзошла конфигурацию MI50 (ROCm) в тестах префиллинга, показав скорость от ~1.13x до ~3.18x быстрее в зависимости от длины контекста.
• Конфигурация MI50 была быстрее в генерации токенов (tg128), достигнув 24.87 t/s по сравнению с 20.49 t/s у P40.
• Обе конфигурации работали на материнских платах Asus X99-E-WS с процессорами Intel Xeon E5-2680 v4 и 128 ГБ ОЗУ.

Результаты показывают, что, несмотря на превосходные индивидуальные характеристики MI50, кластер P40 сохранил конкурентоспособную производительность для этой конкретной конфигурации модели.