Um usuário faz benchmarks de transferência PCIe e desempenho em uma configuração de dupla GPU usando llama.cpp com Qwen3.6-27B-UD-Q4_K_XL.gguf em 180k de contexto. O teste compara os modos de paralelismo de tensor e paralelismo de pipeline para avaliar o uso da largura de banda e a taxa de transferência.
- O modo de paralelismo de tensor alcança uma velocidade de decodificação de 47 tokens por segundo contra 30 tokens por segundo para o paralelismo de pipeline.
- O modo de paralelismo de pipeline produz uma velocidade de prefill mais alta de 1250 tokens por segundo em comparação com 650 tokens por segundo no paralelismo de tensor.
- A monitoração da largura de banda PCIe via nvidia-smi mostra transferência sustentada durante a decodificação no paralelismo de tensor, enquanto o paralelismo de pipeline exibe picos variáveis de prefill e baixa transferência sustentada.
Os resultados sugerem que usar risers para conectar GPUs pode não limitar significativamente o desempenho, apoiando a viabilidade dessas configurações de hardware para ambientes multi-GPU.