NVIDIA ने OmniDreams का परिचय दिया, जो एक फाउंडेशन जनरेटिव वर्ल्ड मॉडल है जिसे बंद-लूप सिमुलेशन में स्वचालित ड्राइविंग पॉलिसी के मूल्यांकन में आने वाली बाधाओं को दूर करने के लिए डिज़ाइन किया गया है। Cosmos diffusion मॉडल पर 21k घंटे के ड्राइविंग परिदृश्यों से मिड- और पोस्ट-ट्रेन किए जाने के बाद, यह रियल-टाइम में एक्शन-कंडीश्न्ड वीडियो ऑटोरेग्रेसिवली जनरेट करता है।
OmniDreams पिछले फ्रेम्स, सिमुलेटर स्टेट और ड्राइविंग एक्शन्स पर कंडीश्निंग करके फोटोरियलिस्टिक सेंसर जनरेशन को संश्लेषित करता है, जिससे चरम मौसम और अप्रत्याशित एजेंट व्यवहार जैसी जटिल घटनाओं का निर्माण होता है। इसे अगली पीढ़ी की पॉलिसी के प्रशिक्षण के लिए एक स्केलेबल वातावरण प्रदान करने के लिए Alpamayo 1 पॉलिसी मॉडल और AlpaSim ऑर्केस्ट्रेटर के साथ तैनात किया गया है। पूर्वानुमानित परिणाम दिखाते हैं कि OmniDreams से पोस्ट-ट्रेन किए गए वर्ल्ड-एक्शन मॉडल ने Physical AI Autonomous Vehicles NuRec डेटासेट पर VLA-आधारित Alpamayo 1.5 रिसर्च पॉलिसी को पार कर लिया, जबकि केवल कुल पैरामीटर का 1/5 हिस्सा उपयोग किया गया।
ये निष्कर्ष यह उजागर करते हैं कि रियल-टाइम वर्ल्ड मॉडल स्वचालित ड्राइविंग पॉलिसी आर्किटेक्चर के लिए प्रभावी बैकबोन के रूप में कैसे काम कर सकते हैं।