يقترح الباحثون استراتيجيتين لتحسين كفاءة التغذية الراجعة من التعلم المعزز بناءً على التغذية الراجعة البشرية (RLHF) للنماذج الانتشارية: الوزن الانتقائي لخطوات الزمن وإعادة اللعب القائم على الميزة. تعالج هذه الطرق التكلفة العالية لتقييم المكافأة من خلال التركيز على خطوات الزمن والمسارات المفيدة أثناء التحسين.
- مخطط وزن لكل خطوة زمنية يعيد وزن خطوات إزالة الضوضاء، ويرتبط نظريًا بخصائص تقارب تحسين السياسة القريبة (PPO).
- آلية إعادة اللعب القائمة على الميزة تعطي الأولوية للمسارات المفيدة، مما يسمح للنموذج بإعادة استخدام العينات السابقة بدلاً من طلب مكافآت جديدة.
- يحقق النهج تحسنًا يصل إلى 6 مرات في كفاءة العينات مقارنة بأساسيات RLHF الانتشارية المستخدمة على نطاق واسع تحت إعدادات المعلمات الفائقة المتطابقة.
تعزز هذه الاستراتيجيات بشكل كبير عملية استخدام RLHF الانتشاري عمليًا من خلال تقليل الاعتماد على التغذية الراجعة البشرية أو نماذج المكافأة الواسعة مع الحفاظ على التعميم للطلبات غير المرئية.