한 사용자가 두 가지 멀티 GPU 환경에서 MiniMax M2.7 REAP 139B Q3_K_L 모델을 벤치마킹했습니다. 하나는 총 VRAM 96GB의 AMD MI50 카드 6장, 다른 하나는 총 VRAM 144GB의 NVIDIA Tesla P40 카드 6장입니다.

  • P40 설정(CUDA)은 컨텍스트 길이에 따라 약 1.13배에서 약 3.18배 빠른 프리필 테스트에서 MI50 설정(ROCm)을 크게 앞질렀습니다.
  • MI50 설정은 토큰 생성(tg128)에서 더 빨랐으며, P40의 20.49 t/s 대비 24.87 t/s를 달성했습니다.
  • 두 구성 모두 Intel Xeon E5-2680 v4 CPU와 128GB RAM이 탑재된 Asus X99-E-WS 마더보드에서 실행되었습니다.

이 결과는 MI50의 우수한 개별 스펙에도 불구하고 P40 클러스터가 이 특정 모델 구성에 대해 경쟁력 있는 성능을 유지했음을 나타냅니다.