Un utilisateur effectue un benchmark du nouveau modèle unsloth/Qwen3.6-27B-NVFP4 en utilisant vLLM sur une configuration de quatre GPU RTX 5060 Ti pour évaluer les performances de préremplissage et le Temps jusqu'au premier jeton (TTFT) à différents niveaux de concurrence.

  • L'environnement de test utilise une parallélisation de pipeline de 4, 64 Go de VRAM par carte et un nombre maximal de tokens par lot de 16K.
  • À une concurrence de 1, le TTFT moyen est de 3291,57 ms avec un débit total de tokens de 211,95 tok/s.
  • L'augmentation à une concurrence de 4 élève le TTFT moyen à 3864,81 ms et le débit total de tokens à 647,57 tok/s.
  • À une concurrence de 8, le TTFT moyen augmente à 5279,76 ms tandis que le débit total de tokens atteint 1023,60 tok/s.
  • Avec une concurrence de 12, le TTFT moyen bondit à 14441,53 ms et le débit total de tokens est de 1047,73 tok/s.
  • À une concurrence de 16, le TTFT moyen augmente fortement à 37817,92 ms avec un débit total de tokens de 1061,13 tok/s.

Le benchmark illustre comment la latence de préremplissage et la latence de bout en bout augmentent significativement lorsque la concurrence s'accroît sur cette configuration matérielle spécifique.