vLLM 的 transformers 后端现利用运行时融合实现原生速度

vLLM 项目已将其 transformers 建模后端升级，以在运行时动态应用针对推理的层融合，使兼容模型无需自定义代码即可达到 vLLM 的原生推理速度。此次更新利用 torch.fx 进行静态分析和 AST 操作，以识别并优化模式，例如 Mixture-of-Experts 模型中专家并行化的融合操作。

• 在 Qwen3 模型（4B、32B 和 235B 参数 FP8 MoE）上的基准测试显示，更新后的后端在单 GPU、张量并行以及数据/专家并行设置下的性能与 vLLM 的手写原生实现相匹配。
• 该集成支持标准的并行选项，如 --tensor-parallel-size 和 --data-parallel-size，而无需更改服务配置。
• 优化的操作包括映射到用于专家并行的 vLLM 内核，以及融合后的 MergedColumnParallelLinear/QKVParallelLinear 块，这些块能够自动推断张量和流水线并行计划。
• 通过此后端处理的模型仍可通过 torch.compile 和 CUDA Graphs 完全进行 torch 编译，同时保留用于训练、评估和 RL rollout 的能力。

这一改进使模型作者能够在 vLLM 内运行 Hugging Face 模型并获得优化性能，而无需移植代码，从而弥合易用性与最大硬件利用率之间的差距。