Benchmark menunjukkan 6x P40 mengungguli 6x MI50 yang menjalankan MiniMax M2.7 REAP 139B

Seorang pengguna melakukan benchmark pada model MiniMax M2.7 REAP 139B Q3_K_L di dua setup multi-GPU: enam kartu AMD MI50 dengan total VRAM 96GB dan enam kartu NVIDIA Tesla P40 dengan total VRAM 144GB.

• Setup P40 (CUDA) secara signifikan mengungguli setup MI50 (ROCm) dalam tes prefill, lebih cepat sekitar 1,13x hingga 3,18x tergantung pada panjang konteks.
• Setup MI50 lebih cepat dalam generasi token (tg128), mencapai 24,87 t/s dibandingkan dengan 20,49 t/s milik P40.
• Kedua konfigurasi berjalan di motherboard Asus X99-E-WS dengan CPU Intel Xeon E5-2680 v4 dan RAM 128GB.

Hasilnya menunjukkan bahwa meskipun MI50 memiliki spesifikasi individu yang lebih unggul, klaster P40 mempertahankan kinerja yang kompetitif untuk konfigurasi model spesifik ini.