शोधकर्ता विसरण मॉडलों के लिए मानवीय प्रतिक्रिया से पुनर्बल सीखने (RLHF) की प्रतिक्रिया दक्षता को बढ़ाने के लिए दो रणनीतियों का प्रस्ताव देते हैं: चयनात्मक टाइमस्टेप वजन और लाभ-आधारित रीप्ले। ये विधियां अनुकूलन के दौरान सूचनात्मक टाइमस्टेप्स और ट्रैजेक्टरी पर जोर देकर पुरस्कार मूल्यांकन के उच्च खर्च को संबोधित करती हैं।
- प्रति-टाइमस्टेप वजन योजना डीनोइजिंग चरणों को पुनर्वजनित करती है, जो सैद्धांतिक रूप से प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) के अभिसरण गुणों से जुड़ी होती है।
- लाभ-आधारित रीप्ले तंत्र सूचनात्मक ट्रैजेक्टरी को प्राथमिकता देता है, जिससे मॉडल नए पुरस्कारों को क्वेरी करने के बजाय पिछले नमूनों का पुन: उपयोग कर सकता है।
- समान हाइपरपैरामीटर सेटिंग्स के तहत व्यापक रूप से उपयोग किए जाने वाले विसरण RLHF बेलाइन की तुलना में नमूना दक्षता में 6x तक सुधार प्राप्त होता है।
ये रणनीतियां अदृश्य प्रॉम्प्ट के लिए सामान्यीकरण को बनाए रखते हुए, विस्तृत मानवीय या पुरस्कार मॉडल प्रतिक्रिया पर निर्भरता को कम करके विसरण RLHF की व्यावहारिकता को महत्वपूर्ण रूप से बढ़ाती हैं।