NVIDIA ने RoboTTT का परिचय दिया, जो एक रॉबोट फाउंडेशन मॉडल और प्रशिक्षण विधि है जो इनफरेंस लेटेंसी को बढ़ाए बिना विसुओमोटर संदर्भ को 8,000 टाइमस्टेप्स तक बढ़ाता है। टेस्ट-टाइम ट्रेनिंग को विजन-लैंग्वेज-एक्शन पॉलिसीज़ में एकीकृत करके, सिस्टम ग्रेडिएंट डाउनद्वारा अपडेट किए जाने वाले फास्ट वेइट्स का उपयोग करके इतिहास को वेट स्पेस में संकुचित करता है।
- मानवीय वीडियो प्रदर्शन से एक-शॉट इन-कॉन्टेक्स्ट इमीटेशन और तत्काल पॉलिसी सुधार को सक्षम बनाता है।
- विक्षोभों के प्रति मजबूती और बहु-चरण, लंबे-अवधि कार्यों पर बेहतर प्रदर्शन प्राप्त करता है।
- रियल-रॉबोट मैनिपुलेशन कार्यों पर सिंगल-स्टेप संदर्भ आधारों की तुलना में कुल प्रदर्शन को 87% से बेहतर बनाता है।
- एक पांच-मिनट, दस-चरण के असेंबली कार्य को पूरी तरह से पूरा करता है जिसे कोई भी आधार नहीं पूरा कर सका।
- 1,000 टाइमस्टेप्स के साथ प्रीट्रेन किए गए मॉडल की तुलना में 62% बेहतर प्रदर्शन करता है, संदर्भ लंबाई को एक नया स्केलिंग अक्ष स्थापित करते हुए।
लेखक इसे महत्वपूर्ण मानते हैं क्योंकि यह रॉबोट फाउंडेशन मॉडल के लिए नई क्षमताओं को अनलॉक करता है और प्रीट्रेनिंग संदर्भ लंबाई के स्केल होने के साथ बंद-लूप प्रदर्शन में निरंतर लाभ दिखाता है।