O backend transformers do vLLM agora usa fusão em tempo de execução para velocidade nativa

O projeto vLLM atualizou seu backend de modelagem transformers para aplicar dinamicamente fusões de camadas específicas de inferência em tempo de execução, permitindo que modelos compatíveis alcancem velocidades de inferência nativas do vLLM sem código personalizado. Esta atualização utiliza torch.fx para análise estática e manipulação de AST para identificar e otimizar padrões como operações fundidas para Paralelismo de Especialistas em modelos Mixture-of-Experts.

• Benchmarks em modelos Qwen3 (4B, 32B e 235B parâmetros FP8 MoE) mostram que o backend atualizado iguala o desempenho das implementações nativas escritas à mão do vLLM em configurações de GPU única, paralelismo de tensor e paralelismo de dados/especialistas.
• A integração suporta opções padrão de paralelismo como --tensor-parallel-size e --data-parallel-size sem alterar as configurações de configuração de serviço.
• As operações otimizadas incluem mapeamentos para kernels do vLLM para Paralelismo de Especialistas e blocos fundidos MergedColumnParallelLinear/QKVParallelLinear que permitem a inferência automática de planos de paralelismo de tensor e pipeline.
• Modelos processados por este backend permanecem totalmente compiláveis via torch.compile e CUDA Graphs, enquanto mantêm a capacidade de serem usados para treinamento, avaliações e rollouts de RL.

Esta melhoria permite que autores de modelos executem modelos do Hugging Face dentro do vLLM com desempenho otimizado sem portar código, fechando a lacuna entre facilidade de uso e máxima utilização de hardware.