Пользователь проводит бенчмарк новой модели unsloth/Qwen3.6-27B-NVFP4 с использованием vLLM на конфигурации из четырёх GPU RTX 5060 Ti для оценки производительности префиллинга и Времени до первого токена (TTFT) при различных уровнях параллелизма.

  • Тестовая среда использует конвейерный параллелизм (pipeline parallelism) с уровнем 4, 64 ГБ видеопамяти на карту и максимальное количество токенов в батче 16K.
  • При параллелизме 1 среднее TTFT составляет 3291.57 мс при общей пропускной способности по токенам 211.95 tok/s.
  • Увеличение параллелизма до 4 повышает среднее TTFT до 3864.81 мс, а общую пропускную способность по токенам до 647.57 tok/s.
  • При параллелизме 8 среднее TTFT возрастает до 5279.76 мс, в то время как общая пропускная способность по токенам достигает 1023.60 tok/s.
  • При параллелизме 12 среднее TTFT резко возрастает до 14441.53 мс, а общая пропускная способность по токенам составляет 1047.73 tok/s.
  • При параллелизме 16 среднее TTFT резко возрастает до 37817.92 мс при общей пропускной способности по токенам 1061.13 tok/s.

Бенчмарк демонстрирует, как задержка префиллинга и сквозная задержка значительно масштабируются при увеличении параллелизма в данной конкретной аппаратной конфигурации.