한 사용자가 ASUS X99-E-WS 마더보드에서 PEX8749 PCIe 스위치를 사용하여 4개의 카드를 연결하고 나머지 2개를 직접 연결하여 AMD MI50 GPU 6개를 실행하는 테스트를 수행했습니다. 이 구성이 모든 6개 GPU를 직접 연결하는 경우와 비교하여 토큰 생성(tg) 및 프롬프트 처리(pp) 속도를 향상시키는지 또는 저하시키는지 확인하는 것이 목표였습니다.

  • Intel Xeon E5-2680 v4 (RAM 128GB)에서 dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B 모델 테스트.
  • 스위치 구성 결과 pp512는 -0.74% 변화, pp16384+tg128은 -0.36% 변화였습니다.
  • 토큰 생성 속도는 tg128에서 +2.73%, pp65536+tg128에서 +0.83% 향상되었습니다.
  • 결합된 pp512+tg128 테스트는 +1.90% 개선된 반면, pp4096+tg128은 +0.01%로 거의 동일했습니다.

결과에 따르면 PEX8749 스위치를 사용하여 GPU 용량을 확장해도 성능 저하는 무시할 수 있으며, 여러 벤치마크에서 토큰 생성 속도가 약간 향상된 것으로 나타났습니다.