あるユーザーが、ASUS X99-E-WSマザーボード上でPEX8749 PCIeスイッチを使用して4枚のカードを接続し、残り2枚を直接接続することで、AMD MI50 GPU 6台を動作させるテストを行った。この構成が、6枚のGPUすべてを直接接続した場合と比較して、トークン生成(tg)およびプロンプト処理(pp)速度を向上させるか低下させるかを検証することが目的だった。

  • Intel Xeon E5-2680 v4（RAM 128GB）上で dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B モデルをテスト。
  • スイッチ構成では、pp512で-0.74%の変化、pp16384+tg128で-0.36%の変化となった。
  • トークン生成速度は、tg128で+2.73%、pp65536+tg128で+0.83%向上した。
  • 結合されたpp512+tg128テストでは+1.90%の改善が見られた一方、pp4096+tg128は+0.01%とほぼ同等だった。

結果は、PEX8749スイッチを使用してGPU容量を拡張してもパフォーマンスの低下は無視できるレベルであり、いくつかのベンチマークにおいてトークン生成速度がわずかに向上したことを示している。