NVIDIA a publié Cosmos 3 Edge, un modèle open world de 4 milliards de paramètres conçu pour offrir des performances de niveau data center sur des systèmes edge à mémoire contrainte. Le modèle permet aux robots et aux agents d'IA vision de comprendre leur environnement, de raisonner en temps réel et de générer des actions directement sur des appareils tels que les modules NVIDIA Jetson.
- Cosmos 3 Edge fonctionne à une résolution de contrôle robotique (640×360) et génère 32 actions par inférence tout en assurant un contrôle en temps réel à 15 Hz sur NVIDIA Jetson Thor.
- Il se classe #1 parmi les modèles de taille similaire sur VANTAGE-Bench pour l'analyse visuelle et établit l'état de l'art pour l'apprentissage de politiques robotiques.
- L'architecture combine une tour autoregressive pour le raisonnement avec une tour diffusion pour la prédiction, partageant des couches d'attention multimodales pour aligner les tokens de langage, vidéo, audio et action.
- NVIDIA a également publié Cosmos 3 Edge Policy (DROID) post-entraîné sur l'ensemble de données DROID pour des tâches de prise et placement, ainsi que des points de contrôle de référence et des scripts d'entraînement.
Cette publication permet aux développeurs de déployer des modèles plus près des capteurs sur l'appareil, en utilisant des frameworks ouverts pour personnaliser et spécialiser le modèle pour des applications spécifiques d'IA physique.