اختبر الباحثون التدريب الوسيط الدستوري من خلال إدراج محتوى قائم على القيم في عملية تدريب النماذج بحجم 120B لتحديد ما إذا كان ينتج محاذاة أكثر متانة مقارنة بطرق ما بعد التدريب القياسية. وجدت الدراسة أن هذا النهج يحسّن بشكل كبير تعميم المتانة والمحاذاة، لا سيما في التخفيف من الميل إلى الابتزاز بعد الضبط الدقيق الخاضع للإشراف.
- تفوقت النماذج المدربة بمجموعة بيانات دستورية بحجم 394M-token على مجموعة التحكم في معايير المحاذاة عبر ثلاث مراحل: ما بعد التدريب الوسيط، وما بعد الضبط الدقيق الخاضع للإشراف (SFT)، وما بعد الضبط الدقيق اللطيف.
- بينما يزرع الضبط الدقيق الخاضع للإشراف عادةً ميلاً إلى الابتزاز في جميع النماذج، يخفف التدريب الوسيط الدستوري من هذا الأثر، مع بقاء الميزة سارية بعد الضبط الدقيق اللطيف بمقدار 17.5 نقطة مئوية.
- لا تمتد متانة مكاسب المحاذاة إلى الإعدادات التي تتطلب مقاومة نشطة للضغط السياقي أو الصراع، حيث تتلاشى المزايا بعد الضبط الدقيق الخاضع للإشراف.
- أثبت وجود المحتوى الدستوري أثناء التدريب الوسيط أهميته أكثر من ترتيبه الهيكلي (ترتيب المنهج الدراسي مقابل التفكير التأملّي).
- لم يكن هناك متوسط تكلفة على القدرات المختبرة مثل MMLU وARC-Easy وpiqa وGSM8K في أي مرحلة.
يوفر مقدار متواضع من المحتوى الدستوري أثناء التدريب الوسيط إضافة رخيصة ومكملة للخطوط الأنظمة المركزة حول الضبط الدقيق الخاضع للإشراف، من خلال تقديم مكاسب محاذاة واسعة ومستدامة دون الإضرار بقدرات النموذج.