vLLMプロジェクトは、transformersモデルバックエンドをアップグレードし、推論固有のレイヤー融合をランタイムで動的に適用することで、互換性のあるモデルがカスタムコードなしでネイティブのvLLM推論速度を実現できるようにしました。このアップデートは、torch.fxを使用して静的解析とAST操作を行い、Expert Parallelizationにおける融合演算などのパターンを特定して最適化します。

  • Qwen3モデル（4B、32B、および235BパラメータのFP8 MoE）でのベンチマークでは、更新されたバックエンドが単一GPU、テンソル並列処理、データ/エキスパート並列処理の設定において、vLLMの手書きネイティブ実装と同等のパフォーマンスを示しました。
  • この統合は、--tensor-parallel-sizeや--data-parallel-sizeなどの標準的な並列処理オプションをサポートし、サービング設定構成を変更することなく動作します。
  • 最適化された演算には、Expert Parallelization向けのvLLMカーネルへのマッピングと、テンソルおよびパイプライン並列計画の自動推論を可能にする融合されたMergedColumnParallelLinear/QKVParallelLinearブロックが含まれます。

このバックエンドを通じて処理されるモデルは、torch.compileおよびCUDA Graphs経由で完全にtorchコンパイル可能でありながら、トレーニング、評価、RLロールアウトに使用できる能力を維持します。

この改善により、モデル作者はコードをポートすることなく、最適化されたパフォーマンスでvLLM内でHugging Faceモデルを実行でき、使いやすさと最大ハードウェア利用率の間のギャップを埋めます。