Proyek vLLM telah meningkatkan backend pemodelan transformers-nya untuk menerapkan fusi lapisan khusus inferensi secara dinamis pada saat runtime, memungkinkan model yang kompatibel mencapai kecepatan inferensi native vLLM tanpa kode kustom. Pembaruan ini memanfaatkan torch.fx untuk analisis statis dan manipulasi AST guna mengidentifikasi dan mengoptimalkan pola seperti operasi fusi untuk Parallelisasi Ahli dalam model Mixture-of-Experts.
- Benchmark pada model Qwen3 (4B, 32B, dan FP8 MoE 235B-parameter) menunjukkan bahwa backend yang diperbarui mencocokkan kinerja implementasi native vLLM yang ditulis tangan di seluruh setup GPU tunggal, paralelisme tensor, dan paralelisme data/ahli.
- Integrasi ini mendukung opsi paralelisme standar seperti --tensor-parallel-size dan --data-parallel-size tanpa mengubah konfigurasi setup server.
- Operasi yang dioptimalkan termasuk pemetaan ke kernel vLLM untuk Parallelisasi Ahli dan blok MergedColumnParallelLinear/QKVParallelLinear terfusi yang memungkinkan inferensi otomatis rencana paralelisme tensor dan pipeline.
Model yang diproses melalui backend ini tetap sepenuhnya dapat dikompilasi torch melalui torch.compile dan CUDA Graphs, sambil mempertahankan kemampuan untuk digunakan untuk pelatihan, evaluasi, dan rollouts RL.
Peningkatan ini memungkinkan penulis model untuk menjalankan model Hugging Face di dalam vLLM dengan kinerja yang dioptimalkan tanpa memindahkan kode, menjembatani kesenjangan antara kemudahan penggunaan dan pemanfaatan perangkat keras maksimum.