NVIDIA ने Cosmos 3 Edge जारी किया है, जो रोबोटों और विजन AI एजेंट्स पर ऑन-डिवाइस चलने के लिए डिज़ाइन किया गया एक 4-अरब पैरामीटर वाला ओपन वर्ल्ड मॉडल है। Hugging Face पर 20 जुलाई को जारी, यह सिस्टमों को आसपास के वातावरण को समझने, रियल-टाइम में तर्क करने और क्लाउड निर्भरता के बिना स्थानीय रूप से रोबोट एक्शन जनरेट करने की क्षमता प्रदान करता है।
- मॉडल तर्क के लिए एक ऑटोरेग्रेसिव टावर और जनरेशन के लिए एक डिफ्यूजन टावर के साथ Mixture-of-Transformers आर्किटेक्चर का उपयोग करता है, जो मल्टीमोडल एटेंशन परतों को साझा करता है।
- यह विविध एम्बॉडिमेंट्स को एक सामान्य एक्शन प्रतिनिधित्व में मैप करता है, जिसमें कैमरा मोशन, ऑटोनोमस वाहन, सिंगल-आर्म, डुअल-आर्म और ह्यूमनोइड रोबोट्स का समर्थन शामिल है।
- NVIDIA Jetson Thor पर, यह 640×360 रिज़ॉल्यूशन के साथ 15 Hz पर रियल-टाइम कंट्रोल प्राप्त करता है, जिसमें प्रत्येक इनफरेंस में 32 एक्शन जनरेट होते हैं।
- NVIDIA ने Cosmos 3 Edge Policy (DROID) भी जारी किया है, जो DROID डेटासेट का उपयोग करके पिक-एंड-प्ले कार्यों के लिए एक पोस्ट-ट्रेनड पॉलिसी है।
- मॉडल NVIDIA RTX PRO GPUs, DGX, GeForce RTX और T2000 व T3000 जैसे Jetson मॉड्यूल पर डिप्लॉयमेंट का समर्थन करता है।
यह रिलीज मेमोरी-सीमित एज सिस्टमों पर डेटा सेंटर-लेवल प्रदर्शन की आवश्यकता को पूरा करती है, जिससे डेवलपर्स लगभग एक दिन में विशिष्ट एम्बॉडिमेंट्स के लिए मॉडल को पोस्ट-ट्रेन कर सकते हैं।