Un utilisateur a effectué un benchmark des transferts PCIe et des performances sur une configuration à double GPU utilisant llama.cpp avec Qwen3.6-27B-UD-Q4_K_XL.gguf à un contexte de 180k. Le test compare les modes parallélisme tensoriel et parallélisme pipeline pour évaluer l'utilisation de la bande passante et le débit.
- Le mode parallélisme tensoriel atteint une vitesse de décodage de 47 tokens par seconde contre 30 tokens par seconde pour le parallélisme pipeline.
- Le mode parallélisme pipeline offre une vitesse de pré-remplissage plus élevée de 1250 tokens par seconde par rapport à 650 tokens par seconde en parallélisme tensoriel.
- La surveillance de la bande passante PCIe via nvidia-smi montre un transfert soutenu lors du décodage en parallélisme tensoriel, tandis que le parallélisme pipeline présente des pics de pré-remplissage variables et un transfert soutenu faible.
Les résultats suggèrent que l'utilisation de risers pour connecter les GPU peut ne pas constituer un goulot d'étranglement significatif pour les performances, ce qui étaye la viabilité de telles configurations matérielles pour les environnements multi-GPU.