يقدم TRL v1.14 دعمًا لـ LoRA في AsyncGRPOTrainer، مما يتيح له تدريب محوّل Low-Rank Adaptation ومزامنة ذلك الملف الصغير فقط مع عملاء الاستدلال من vLLM. يفصل هذا الهيكل وظائف التدريب عن وظائف التوليد على آلات منفصلة باستخدام Storage Bucket مشترك كجسر لنظام الملفات، مما يلغي الحاجة إلى NCCL أو الاتصال المباشر بالشبكة بين العقد.
- محوّل ذو رتبة 1 لا يتجاوز بضعة ميجابايت، مما يتيح له الانتقال عبر Storage Bucket مُثبت بدلاً من المرور عبر NCCL.
- يعمل المدرب ونسخ vLLM كوظائف Hugging Face منفصلة على آلات مختلفة.
- يضيف خادم الوكيل رؤوس المصادقة ويوجّه عمليات التمرير إلى النسخة التي تحتوي على بادئة KV ذات الصلة مع بث تحديثات المحوّل.
- قللت خمس تشغيلات من وقت التدريب لـ 500 خطوة من 3 ساعات و27 دقيقة إلى 53 دقيقة.
يتيح هذا الإعداد لـ AsyncGRPOTrainer العمل بفعالية في البيئات الموزعة حيث لا يمكن للعقد مشاركة قرص محلي أو تشكيل مجموعة NCCL، مما يسرّع بشكل كبير سير عمل التعلم التعزيزي.