v0.24.0rc2: Corrección de P/D con el Supervisor DP (#46628)
Esta versión candidata aborda una corrección para la funcionalidad de Prefill/Decode (P/D) en conjunto con el Supervisor de Paralelismo de Datos (DP) dentro del proyecto vLLM.
Esta versión candidata aborda una corrección para la funcionalidad de Prefill/Decode (P/D) en conjunto con el Supervisor de Paralelismo de Datos (DP) dentro del proyecto vLLM.
vllm lanza v0.24.0rc1, que incluye una corrección para los problemas de compilación del histograma topk en SM75. El cambio se ha extraído (cherry-picked) del commit 191826e y está firmado por Mohammad Miadh Angkad.