SGLang lida melhor com maior concorrência que vLLM em 4x RTX 5060 Ti

Um usuário realizando benchmark de Qwen3.6 27B (INT8) em quatro GPUs RTX 5060 Ti descobriu que o SGLang gerencia maior concorrência de forma mais eficaz que o vLLM, que anteriormente sofria com problemas de tempo até o primeiro token (TTFT).

• A configuração alcançou uma latência média de ponta a ponta de 13679.23 ms e um TTFT médio de 7504.07 ms com 8 solicitações concorrentes.
• A taxa de saída de tokens atingiu 127.63 tok/s, com uma taxa de pico de saída de 76.00 tok/s.
• A configuração exigiu desativar recursos multimodais, usar decodificação especulativa (NEXTN) e aplicar um patch do driver PCIe P2P via passagem direta de VM no Proxmox.

Esta configuração fornece uma referência funcional para usuários planejando implantar modelos grandes em hardware de consumo com largura de banda NVLink limitada.