Cette version candidate corrige la fonctionnalité Prefill/Decode (P/D) en conjonction avec le superviseur de parallélisme des données (DP) au sein du projet vLLM.

  • La mise à jour résout les problèmes liés à l'interaction entre l'ordonnancement P/D et le superviseur DP.
  • Ce changement est issu du cherry-pick du commit c5e3c40877c2b6d0e16d534641b39fe6744979b7.