تقدم الورقة Neuron On-Policy Self-Distillation (Neuron-OPSD)، وهو إطار عمل يركز على البيانات ويستغل تنشيرات العصبية الداخلية لتوجيه اختيار بيانات التدريب وبناء سياق المعلم لنماذج اللغة الكبيرة. يتيح هذا النهج التدريز الذاتي دون تعليقات توضيحية دون الحاجة إلى تسميات ground-truth أو ملاحظات التفاعل من العالم الحقيقي.
- يعالج عيوب الطرق الحالية حيث تعاني المتغيرات المستندة إلى SFT و GRPO من تدهور الأداء خارج النطاق، بينما يؤدي RL على السياسة القائم على المكافأة إلى تضخيم خطأ المعايرة.
- يستخدم تنشيرات العصبية الداخلية لتوجيه كل من اختيار بيانات التدريب وبناء سياق المعلم.
- يدرب النموذج عبر تدريز على السياسة من توزيع المعلم، ولا يتطلب أي تسميات ground-truth في أي مرحلة.
يحسن Neuron-OPSD أداء المهام داخل النطاق مع الحفاظ على التعميم عبر النطاقات وتخفيف انهيار المعايرة مقارنة بالخطوط الأساسية السابقة الخالية من التعليقات التوضيحية. هذا الإطار ذو صلة خاصة بالإعدادات حيث يكون التفاعل عبر الإنترنت أو الإشراف الخارجي مكلفًا أو غير ممكن.