قام دان أوستن بفتح مصدر نظام حيث يكتب وكيل مدرب بالتعلم المعزز Qwen3.6-35B-A3B ويقدم بشكل مستقل مهام تدريب كاملة للنماذج الأصغر من Qwen (0.6B أو 1.7B). يستخدم الوكيل إطار prime-rl لتحديد البيئات والمكافآت ومجموعات البيانات والمعلمات الفائقة، والتي يتم تنفيذها بعد ذلك على وحدات معالجة الرسومات Runpod.
- تستخدم حلقة التعلم المعزز الخارجية Tinker مع LoRA و GRPO، مكافئة الوكيل بناءً على تحسين النموذج الداخلي في تقييم مخفي.
- خلال 54 خطوة من الحلقة الخارجية تتضمن حوالي 1,750 مهمة تدريب على وحدات معالجة الرسومات، ارتفعت مكافأة الحلقة من ~0.0 إلى ذروة ~0.63.
- تعلم الويل تفضيل النموذج الأساسي 1.7B (ارتفع الاستخدام من 42% إلى 95%) واستخدم مساحة تكوين المعلمات الفائقة بشكل فعال.
- لوحظ نقل المهارة في عائلة مهام محفوظة، مع زيادة متوسط المكافأة من 0.399 إلى 0.545 قبل الاستقرار.
- كلف التجربة بأكملها حوالي 1,300 دولار، مع تكلفة كل مهمة تدريب داخلية تتراوح بين 0.13 دولار و 0.30 دولار.
يوضح المشروع أن الأنظمة القادرة على تحسين أنظمة الذكاء الاصطناعي الأخرى تصبح أكثر سهولة في الوصول إليها، وتتطلب تصحيح عمليات كبير بدلاً من مجرد ضبط السياسة.