Un usuario realiza benchmarks de transferencia PCIe y rendimiento en una configuración de doble GPU usando llama.cpp con Qwen3.6-27B-UD-Q4_K_XL.gguf a 180k de contexto. La prueba compara los modos de paralelismo de tensor y paralelismo de pipeline para evaluar el uso del ancho de banda y el rendimiento.
- El modo de paralelismo de tensor logra una velocidad de decodificación de 47 tokens por segundo frente a 30 tokens por segundo para el paralelismo de pipeline.
- El modo de paralelismo de pipeline produce una velocidad de prefill más alta de 1250 tokens por segundo en comparación con 650 tokens por segundo en el paralelismo de tensor.
- La monitorización del ancho de banda PCIe a través de nvidia-smi muestra una transferencia sostenida durante la decodificación en el paralelismo de tensor, mientras que el paralelismo de pipeline exhibe picos variables de prefill y baja transferencia sostenida.
Los resultados sugieren que usar risers para conectar GPUs puede no limitar significativamente el rendimiento, apoyando la viabilidad de dichas configuraciones de hardware para entornos multi-GPU.