NVIDIA ने Cosmos 3 Edge जारी किया है, जो एक 4-अरब-पैरामीटर ओपन वर्ल्ड मॉडल है जिसे मेमोरी-सीमित एज सिस्टम पर डेटा सेंटर-स्तर का प्रदर्शन प्रदान करने के लिए डिज़ाइन किया गया है। यह मॉडल रोबोटों और विजन AI एजेंट्स को अपने आसपास के वातावरण को समझने, रियल-टाइम में तर्क करने और NVIDIA Jetson मॉड्यूल जैसे डिवाइसों पर सीधे एक्शन जनरेट करने में सक्षम बनाता है।
- Cosmos 3 Edge रोबोट-नियंत्रण रिज़ोल्यूशन (640×360) पर काम करता है और प्रत्येक इनफरेंस के दौरान 32 एक्शन जनरेट करता है, जबकि NVIDIA Jetson Thor पर 15 Hz पर रियल-टाइम नियंत्रण प्राप्त करता है।
- यह विजन एनालिटिक्स के लिए VANTAGE-Bench पर समान आकार वाले मॉडलों में #1 स्थान पर है और रोबोट पॉलिसी लर्निंग के लिए स्टेट ऑफ द आर्ट स्थापित करता है।
- इस आर्किटेक्चर में तर्क के लिए एक ऑटोरेग्रेसिव टावर और भविष्यवाणी के लिए एक डिफ्यूजन टावर शामिल हैं, जो भाषा, वीडियो, ऑडियो और एक्शन टोकन को संरेखित करने के लिए मल्टीमोडल एटेंशन परतों को साझा करते हैं।
- NVIDIA ने पिक-एंड-प्ले कार्यों के लिए DROID डेटासेट पर पोस्ट-ट्रेन्ड Cosmos 3 Edge Policy (DROID) के साथ-साथ रेफरेंस चेकप्वाइंट्स और ट्रेनिंग स्क्रिप्ट भी जारी किए हैं।
यह रिलीज डेवलपर्स को सेंसरों के करीब ऑन-डिवाइस मॉडल तैनात करने, ओपन फ्रेमवर्क्स का उपयोग करके विशिष्ट भौतिक AI अनुप्रयोगों के लिए मॉडल को कस्टमाइज़ और विशेष बनाने की अनुमति देती है।