أطلقت إنفيديا نموذج كوزموس 3 إيدج، وهو نموذج عالم مفتوح يتكون من 4 مليارات معلمة مصمم للعمل على الجهاز للروبوتات ووكلاء الذكاء الاصطناعي للرؤية. أُصدر في 20 يوليو على منصة Hugging Face، مما يتيح للنظم فهم المحيط والاستدلال في الوقت الفعلي وتوليد إجراءات الروبوت محليًا دون الاعتماد على السحابة.
- يستخدم النموذج بنية مزيج من المحولات (Mixture-of-Transformers) مع برج ذاتي الانحدار للاستدلال وبرج انتشار للتوليد، تشاركان طبقات الانتباه متعدد الوسائط.
- يُمكّن النموذج من تعيين تجسيدات متنوعة إلى تمثيل إجراءات مشترك، مما يدعم حركة الكاميرا والمركبات ذاتية القيادة والروبوتات ذات الذراع الواحد والذراعين والروبوتات البشرية الشكل.
- على جهاز NVIDIA Jetson Thor، يحقق تحكمًا في الوقت الفعلي بتردد 15 هرتز ودقة 640×360، مولّدًا 32 إجراءً لكل استدلال.
- أطلقت إنفيديا أيضًا سياسة كوزموس 3 إيدج (DROID)، وهي سياسة مُدربة لاحقًا لمهام الإمساك والوضع باستخدام مجموعة بيانات DROID.
- يدعم النموذج النشر على وحدات معالجة الرسومات NVIDIA RTX PRO، وDGX، وGeForce RTX، ووحدات Jetson مثل T2000 وT3000.
يعالج هذا الإصدار الحاجة إلى أداء بمستوى مراكز البيانات في أنظمة الطرف المقيدة بالذاكرة، مما يسمح للمطورين بتدريب النموذج لاحقًا لتجسيدات محددة في يوم واحد تقريبًا.