vLLM 프로젝트는 추론 전용 레이어 퓨션을 런타임에 동적으로 적용하여 호환되는 모델이 커스텀 코드 없이도 네이티브 vLLM 추론 속도를 달성할 수 있도록 transformers 모델링 백엔드를 업그레이드했습니다. 이 업데이트는 torch.fx를 사용하여 정적 분석 및 AST 조작을 통해 Expert Parallelization의 퓨전 연산과 같은 패턴을 식별하고 최적화합니다.

  • Qwen3 모델(4B, 32B, 235B 파라미터 FP8 MoE)에 대한 벤치마크는 업데이트된 백엔드가 단일 GPU, 텐서 병렬성 및 데이터/전문가 병렬성 설정에서 vLLM의 수작업 네이티브 구현과 성능이 일치함을 보여줍니다.
  • 이 통합은 --tensor-parallel-size 및 --data-parallel-size와 같은 표준 병렬성 옵션을 지원하며 서빙 설정 구성을 변경하지 않습니다.
  • 최적화된 연산에는 Expert Parallelization에 대한 vLLM 커널 매핑과 텐서 및 파이프라인 병렬 계획의 자동 추론을 가능하게 하는 퓨전된 MergedColumnParallelLinear/QKVParallelLinear 블록이 포함됩니다.

이 백엔드를 통해 처리되는 모델은 torch.compile 및 CUDA Graphs를 통해 완전히 torch 컴파일 가능하면서 훈련, 평가 및 RL 롤아웃에 사용할 수 있는 능력을 유지합니다.

이 개선으로 모델 작성자는 코드를 포팅하지 않고도 최적화된 성능으로 vLLM 내에서 Hugging Face 모델을 실행할 수 있으며, 사용 편의성과 최대 하드웨어 활용 사이의 격차를 해소합니다.