قام مشروع vLLM بترقية خلفية نمذجة transformers لتطبيق اندماجات طبقات محددة للاستنتاج ديناميكيًا في وقت التشغيل، مما يسمح للنماذج المتوافقة بتحقيق سرعات استنتاج أصلية لـ vLLM دون الحاجة إلى كود مخصص. يستفيد هذا التحديث من torch.fx للتحليل الثابت والتلاعب بـ AST لتحديد وتحسين أنماط مثل العمليات المندمجة للتوازي بين الخبراء في نماذج Mixture-of-Experts.

  • أظهرت المقاييس على نماذج Qwen3 (4B، 32B، و235B معلمة FP8 MoE) أن الخلفية المحدثة تتطابق مع أداء التنفيذيات الأصلية المكتوبة يدويًا لـ vLLM عبر إعدادات GPU الواحد، وتوازي المصفوفات، وتوازي البيانات/الخبراء.
  • يدعم التكامل خيارات التوازي القياسية مثل --tensor-parallel-size و --data-parallel-size دون تغيير تكوينات إعداد الخدمة.
  • تشمل العمليات المحسنة الخرائط إلى نوى vLLM لتوازي الخبراء والكتل المندمجة MergedColumnParallelLinear/QKVParallelLinear التي تتيح الاستنتاج التلقائي لخطط توازي المصفوفات والأنابيب.

تظل النماذج المعالجة عبر هذه الخلفية قابلة للترجمة بالكامل بواسطة torch.compile و CUDA Graphs، مع الاحتفاظ بالقدرة على استخدامها للتدريب والتقييمات وتنفيذات RL.

يتيح هذا التحسين لمؤلفي النماذج تشغيل نماذج Hugging Face داخل vLLM بأداء محسن دون نقل الكود، مما يسد الفجوة بين سهولة الاستخدام والاستخدام الأقصى للأجهزة.