Пользователь, проводящий бенчмаркинг Qwen3.6 27B (INT8) на четырех GPU RTX 5060 Ti, обнаружил, что SGLang эффективнее управляет высокой конкурентностью, чем vLLM, который ранее страдал от проблем с временем до первого токена (TTFT).

  • Конфигурация достигла среднего сквозного времени задержки 13679.23 мс и среднего TTFT 7504.07 мс при 8 одновременных запросах.
  • Пропускная способность вывода токенов составила 127.63 tok/s, с пиковой пропускной способностью вывода 76.00 tok/s.
  • Для конфигурации потребовалось отключить мультимодальные функции, использовать спекулятивное декодирование (NEXTN) и применить патч драйвера PCIe P2P через проброс VM Proxmox.

Эта конфигурация предоставляет рабочий эталон для пользователей, планирующих развертывание больших моделей на потребительском оборудовании с ограниченной пропускной способностью NVLink.