Un usuario de Reddit con un servidor equipado con dos GPUs RTX 5060 de 16GB y 80GB de DDR4 ECC está pidiendo consejos de configuración para optimizar el rendimiento al dividir los pesos del modelo entre las tarjetas.

  • La configuración utiliza PCIe 3.0, lo que el usuario señala que puede obstaculizar la eficiencia del paralelismo tensorial.
  • Las pruebas actuales muestran aproximadamente 3200 tokens por segundo para el procesamiento de prompts y 100 tokens por segundo para la generación con el modelo Qwen 3.6 35B.
  • El modelo más pequeño Qwen 27B logra alrededor de 600 tokens por segundo para el procesamiento de prompts y 23 tokens por segundo para la generación en una configuración de división tensorial.
  • El usuario está utilizando actualmente formatos GGUF con llama.cpp pero también tiene acceso a modelos vLLM NVFP4.

La publicación tiene como objetivo recopilar recomendaciones de la comunidad sobre configuraciones para mejorar el rendimiento y la latencia al ejecutar grandes modelos de lenguaje en hardware de doble GPU.