Le projet vLLM a mis à jour son backend de modélisation transformers pour appliquer dynamiquement des fusions de couches spécifiques à l'inférence au runtime, permettant aux modèles compatibles d'atteindre les vitesses d'inférence natives de vLLM sans code personnalisé. Cette mise à jour s'appuie sur torch.fx pour l'analyse statique et la manipulation AST afin d'identifier et d'optimiser des motifs tels que les opérations fusionnées pour le parallélisme des experts dans les modèles Mixture-of-Experts.
- Les benchmarks sur les modèles Qwen3 (4B, 32B et 235B paramètres FP8 MoE) montrent que le backend mis à jour atteint les performances des implémentations natives écrites à la main de vLLM sur les configurations mono-GPU, parallélisme tensoriel et parallélisme données/experts.
- L'intégration prend en charge les options de parallélisme standard telles que --tensor-parallel-size et --data-parallel-size sans modifier les configurations de déploiement.
- Les opérations optimisées incluent les mappages vers les noyaux vLLM pour le parallélisme des experts et les blocs MergedColumnParallelLinear/QKVParallelLinear fusionnés qui permettent l'inférence automatique des plans de parallélisme tensoriel et par pipeline.
Les modèles traités via ce backend restent entièrement compilables avec torch.compile et CUDA Graphs, tout en conservant leur capacité à être utilisés pour l'entraînement, les évaluations et les rollouts RL.
Cette amélioration permet aux auteurs de modèles d'exécuter des modèles Hugging Face dans vLLM avec des performances optimisées sans avoir à porter le code, comblant ainsi l'écart entre la facilité d'utilisation et l'utilisation maximale du matériel.