SGLang maneja mejor la mayor concurrencia que vLLM en 4x RTX 5060 Ti

Un usuario que realizaba pruebas de rendimiento de Qwen3.6 27B (INT8) en cuatro GPUs RTX 5060 Ti descubrió que SGLang gestiona una mayor concurrencia de manera más efectiva que vLLM, el cual anteriormente sufría problemas con el tiempo hasta el primer token (TTFT).

• La configuración logró una latencia media de extremo a extremo de 13679.23 ms y un TTFT medio de 7504.07 ms con 8 solicitudes concurrentes.
• El rendimiento de salida de tokens alcanzó 127.63 tok/s, con un pico de rendimiento de salida de 76.00 tok/s.
• La configuración requirió desactivar las funciones multimodales, usar descodificación especulativa (NEXTN) y aplicar un parche del controlador PCIe P2P mediante paso directo de VM en Proxmox.

Esta configuración proporciona una referencia funcional para usuarios que planean implementar modelos grandes en hardware de gama de consumidor con ancho de banda NVLink limitado.