あるユーザーが、RTX 5060 Ti GPUを4台搭載した環境でvLLMを使用して新しいunsloth/Qwen3.6-27B-NVFP4モデルのベンチマークを実施し、異なる同時実行レベルにおけるプレフィル性能と初回トークン到達時間（TTFT）を評価しました。

  • テスト環境ではパイプライン並列度を4、カードあたりVRAM 64GB、最大バッチトークンを16Kに設定しています。
  • 同時実行数1の場合、平均TTFTは3291.57 msで、総トークルスループットは211.95 tok/sです。
  • 同時実行数を4に増やすと、平均TTFTは3864.81 msに上昇し、総トークルスループットは647.57 tok/sになります。
  • 同時実行数8の場合、平均TTFTは5279.76 msに増加し、総トークルスループットは1023.60 tok/sに達します。
  • 同時実行数12の場合、平均TTFTは14441.53 msに跳ね上がり、総トークルスループットは1047.73 tok/sです。
  • 同時実行数16の場合、平均TTFTは37817.92 msまで急激に上昇し、総トークルスループットは1061.13 tok/sです。

このベンチマークは、特定のハードウェア構成において、同時実行数が増加するとプレフィルレイテンシとエンドツーエンドのレイテンシが大幅にスケールすることを示しています。