一名用户在两种多GPU设置上对MiniMax M2.7 REAP 139B Q3_K_L模型进行了基准测试:六张AMD MI50卡,总显存为96GB;以及六张NVIDIA Tesla P40卡,总显存为144GB。
- P40设置(CUDA)在预填充测试中显著优于MI50设置(ROCm),根据上下文长度的不同,速度提高了约1.13倍至3.18倍。
- MI50设置在令牌生成(tg128)方面更快,达到24.87 t/s,而P40为20.49 t/s。
- 两种配置均在配备Intel Xeon E5-2680 v4 CPU和128GB RAM的Asus X99-E-WS主板上运行。
结果表明,尽管MI50的单个规格更优,但P40集群针对此特定模型配置保持了具有竞争力的性能。