Un utilisateur ayant effectué un benchmark de Qwen3.6-27B (INT8) sur quatre GPU RTX 5060 Ti a constaté que SGLang gère une concurrence plus élevée plus efficacement que vLLM, qui souffrait auparavant de problèmes de temps jusqu'au premier jeton (TTFT).

  • La configuration a atteint une latence moyenne de bout en bout de 13679.23 ms et un TTFT moyen de 7504.07 ms avec 8 requêtes concurrentes.
  • Le débit de jetsons de sortie a atteint 127.63 tok/s, avec un pic de débit de sortie de 76.00 tok/s.
  • La configuration nécessitait de désactiver les fonctionnalités multimodales, d'utiliser le décodage spéculatif (NEXTN) et d'appliquer un correctif de pilote PCIe P2P via le passage direct VM Proxmox.

Cette configuration fournit une référence fonctionnelle pour les utilisateurs prévoyant de déployer des modèles volumineux sur du matériel grand public avec une bande passante NVLink limitée.