El proyecto vLLM ha actualizado su backend de modelado con transformers para aplicar dinámicamente fusiones de capas específicas de inferencia en tiempo de ejecución, permitiendo que los modelos compatibles alcancen velocidades de inferencia nativas de vLLM sin código personalizado. Esta actualización aprovecha torch.fx para análisis estático y manipulación del AST con el fin de identificar y optimizar patrones como operaciones fusionadas para Paralelización de Expertos en modelos Mixture-of-Experts.
- Las pruebas de rendimiento en modelos Qwen3 (4B, 32B y 235B parámetros FP8 MoE) muestran que el backend actualizado iguala el rendimiento de las implementaciones nativas escritas a mano de vLLM en configuraciones de GPU única, paralelismo de tensor y configuraciones de paralelismo de datos/expertos.
- La integración admite opciones estándar de paralelismo como --tensor-parallel-size y --data-parallel-size sin cambiar las configuraciones del entorno de despliegue.
- Las operaciones optimizadas incluyen mapeos a kernels de vLLM para Paralelización de Expertos y bloques fusionados MergedColumnParallelLinear/QKVParallelLinear que permiten la inferencia automática de planes de paralelismo de tensor y pipeline.
- Los modelos procesados a través de este backend siguen siendo totalmente compilables con torch.compile y CUDA Graphs, mientras conservan la capacidad de utilizarse para entrenamiento, evaluaciones y rollouts de RL.
Esta mejora permite a los autores de modelos ejecutar modelos de Hugging Face dentro de vLLM con rendimiento optimizado sin tener que portar código, cerrando la brecha entre la facilidad de uso y la máxima utilización del hardware.