शोधकर्ताओं ने RoboTTT का परिचय दिया, एक प्रशिक्षण विधि जो रोबोट फाउंडेशन मॉडल्स के लिए विसुओमोटर संदर्भ को 8,000 टिम्स्टेप्स तक बढ़ाती है बिना इनफरेंस लेटेंसी बढ़ाए। यह विधि वीजन-लैंग्वेज-एक्शन पॉलिसीज़ में टेस्ट-टाइम ट्रेनिंग को एकीकृत करती है, जिसमें ग्रेडिएंट डेसेंट के माध्यम से अपडेट किए जाने वाले फास्ट वेइट्स का उपयोग प्रशिक्षण और इनफरेंस दोनों के दौरान किया जाता है।
- संदर्भ लंबाई को सीक्वेंस एक्शन फोर्सिंग और ट्रंकेटेड बैकप्रोपैगेशन थ्रू टाइम का उपयोग करके स्केल किया गया है।
- इस दृष्टिकोण से वन-शॉट इन-कॉन्टेक्स इमीटेशन, ऑन-द-फ्लाइ पॉलिसी सुधार और विक्षोभों के प्रति रोबस्टनेस संभव होता है।
- RoboTTT ने सिंगल-स्टेप बेलाइन्स की तुलना में समग्र प्रदर्शन को 87% से बढ़ा दिया और पांच मिनट, दस-चरण वाली असेंबली कार्य को पूरा किया, जिसे अन्य मॉडल पूरा करने में विफल रहे।
- 8K-टिम्स्टेप संदर्भ के साथ प्रशिक्षित मॉडल्स उन मॉडल्स की तुलना में 62% बेहतर प्रदर्शन करते हैं जो 1K टिम्स्टेप्स के साथ प्रीट्रेन किए गए थे, जिसने संदर्भ लंबाई को एक नया स्केलिंग अक्ष के रूप में स्थापित किया।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह मल्टी-स्टेज, लॉंग-होरिज़न कार्यों के लिए क्षमताओं को अनलॉक करता है और प्रीट्रेनिंग संदर्भ के स्केल होने के साथ क्लोस्ड-लूप प्रदर्शन में स्थिर लाभ दिखाता है।