शोधकर्ताओं ने WorldSample प्रस्तावित किया, एक भौतिक रूप से आधारित डेटा ऑगमेंटेशन फ्रेमवर्क जो भौतिक रोलआउट्स, विश्व मॉडल जनरेशन और रीइंफोर्समेंट लर्निंग के लिए वास्तविक रोबोटों पर नीति सुधार के बीच एक वास्तविक-सिंथेटिक लूप को बंद करता है। सिस्टम एक पोस्ट-प्रशिक्षित विश्व मॉडल के माध्यम से उच्च-फिडेलिटी सिंथेटिक ट्रांजिशन उत्पन्न करता है और नमूना चयन के माध्यम से प्रशिक्षण को नियमित करने के लिए Policy-Paced Learning का उपयोग करता है, उपयोगी ऑगमेंटेशन और मूल्य ओवरएस्टिमेशन के बीच संतुलन बनाते हुए।
- संपर्क-समृद्ध रोबोट मैनिपुलेशन कार्यों पर प्रयोगों से पता चलता है कि WorldSample नीति की सफलता दर को 28% बढ़ाता है जबकि आधार रेखाओं की तुलना में प्रशिक्षण चरणों को 59% कम करता है।
- दृश्य प्रदर्शन केवल पोस्ट-प्रशिक्षण की तुलना में विश्व मॉडल की दृश्य फिडेलिटी को PSNR में 19.4dB और SSIM में 0.47 से बेहतर बनाता है, नीति और विश्व मॉडल दोनों के प्रदर्शन के लिए वास्तविक-सिंथेटिक लूप की प्रभावशीलता को सत्यापित करता है।
यह विधि प्रशिक्षण के दौरान दृश्य हॉल्युसिनेशन को कम करके और शोर-प्रेरित त्रुटियों को कम करके वास्तविक रोबोटों पर RL तैनात करने के उच्च इंटरैक्शन लागतों का समाधान करती है।