يقترح الباحثون استراتيجيتين لتحسين كفاءة التغذية الراجعة من التعلم المعزز من التغذية الراجعة البشرية (RLHF) للنماذج الانتشارية: وزن خطوة زمنية انتقائي وإعادة لعب قائمة على الميزة. تعالج هذه الأساليب التكلفة العالية لتقييمات الإنسان أو نموذج المكافأة من خلال التركيز على الخطوات الزمنية والمسارات المفيدة أثناء التحسين.
- مخطط وزن لكل خطوة زمنية يعيد وزن خطوات إزالة الضوضاء، ويرتبط نظرياً بخصائص تقارب تحسين السياسة القريبة (PPO).
- آلية إعادة اللعب القائمة على الميزة تعطي الأولوية للمسارات المفيدة، مما يسمح للنموذج بإعادة استخدام العينات السابقة بدلاً من طلب مكافآت جديدة.
- يحقق النهج تحسناً في كفاءة العينات يصل إلى 6 مرات مقارنة بأساسيات RLHF الانتشاري المستخدمة على نطاق واسع تحت إعدادات المعلمات الفائقة المتطابقة.
تعزز هذه الاستراتيجيات بشكل كبير عملية استخدام RLHF الانتشاري عملياً من خلال تقليل الاعتماد على التغذية الراجعة الواسعة مع الحفاظ على التعميم للطلبات غير المرئية.