Un usuario realizó un benchmark del modelo MiniMax M2.7 REAP 139B Q3_K_L en dos configuraciones de múltiples GPUs: seis tarjetas AMD MI50 con 96GB de VRAM total y seis tarjetas NVIDIA Tesla P40 con 144GB de VRAM total.

  • La configuración P40 (CUDA) superó significativamente a la configuración MI50 (ROCm) en las pruebas de prefill, siendo de ~1.13x a ~3.18x más rápida dependiendo de la longitud del contexto.
  • La configuración MI50 fue más rápida en la generación de tokens (tg128), alcanzando 24.87 t/s en comparación con los 20.49 t/s de P40.
  • Ambas configuraciones se ejecutaron en placas base Asus X99-E-WS con CPUs Intel Xeon E5-2680 v4 y 128GB de RAM.

Los resultados indican que, a pesar de las especificaciones individuales superiores de MI50, el clúster P40 mantuvo un rendimiento competitivo para esta configuración específica del modelo.