Um usuário do Reddit com um servidor equipado com duas GPUs RTX 5060 de 16GB e 80GB de DDR4 ECC está pedindo conselhos de configuração para otimizar o desempenho ao dividir os pesos do modelo entre as placas.

  • A configuração utiliza PCIe 3.0, o que o usuário observa pode prejudicar a eficiência do paralelismo tensorial.
  • Os benchmarks atuais mostram aproximadamente 3200 tokens por segundo para processamento de prompt e 100 tokens por segundo para geração com o modelo Qwen 3.6 35B.
  • O modelo menor Qwen 27B alcança cerca de 600 tokens por segundo para processamento de prompt e 23 tokens por segundo para geração em uma configuração de divisão tensorial.
  • O usuário está atualmente usando formatos GGUF com llama.cpp, mas também tem acesso aos modelos vLLM NVFP4.

O post visa reunir recomendações da comunidade sobre configurações para melhorar a taxa de transferência e a latência ao rodar grandes modelos de linguagem em hardware de dupla GPU.