NVIDIA a publié Cosmos 3 Edge, un modèle de monde ouvert de 4 milliards de paramètres conçu pour fonctionner sur l'appareil même pour les robots et les agents d'IA visuelle. Publié le 20 juillet sur Hugging Face, il permet aux systèmes de comprendre leur environnement, de raisonner en temps réel et de générer des actions robotiques localement sans dépendance au cloud.

  • Le modèle utilise une architecture Mixture-of-Transformers avec une tour autoregressive pour le raisonnement et une tour de diffusion pour la génération, partageant des couches d'attention multimodales.
  • Il mappe diverses embodiments dans une représentation d'action commune, prenant en charge les mouvements de caméra, les véhicules autonomes, les robots à bras unique, à double bras et humanoïdes.
  • Sur NVIDIA Jetson Thor, il atteint un contrôle en temps réel à 15 Hz avec une résolution de 640×360, générant 32 actions par inférence.
  • NVIDIA a également publié Cosmos 3 Edge Policy (DROID), une politique post-entraînée pour les tâches de prise et de placement utilisant le jeu de données DROID.
  • Le modèle prend en charge le déploiement sur les GPU NVIDIA RTX PRO, DGX, GeForce RTX et les modules Jetson tels que le T2000 et le T3000.

Cette publication répond au besoin de performances de niveau centre de données sur des systèmes edge à mémoire contrainte, permettant aux développeurs d'ajuster post-entraîner le modèle pour des embodiments spécifiques en environ un jour.