ユーザーが、2つのマルチGPU環境でMiniMax M2.7 REAP 139B Q3_K_Lモデルをベンチマークしました。1つは合計VRAM 96GBのAMD MI50カード6枚、もう1つは合計VRAM 144GBのNVIDIA Tesla P40カード6枚です。

  • P40セットアップ（CUDA）は、コンテキスト長に応じて約1.13倍から約3.18倍高速なプリフィルテストで、MI50セットアップ（ROCm）を大幅に上回りました。
  • MI50セットアップはトークン生成（tg128）でより速く、P40の20.49 t/sに対して24.87 t/sを達成しました。
  • 両方の構成は、Intel Xeon E5-2680 v4 CPUと128GB RAMを搭載したAsus X99-E-WSマザーボード上で実行されました。

この結果は、MI50の優れた個体スペックにもかかわらず、P40クラスターがこの特定のモデル構成で競争力のあるパフォーマンスを維持していたことを示しています。