NVIDIA a présenté OmniDreams, un modèle de monde génératif fondamental conçu pour résoudre les goulets d'étranglement dans l'évaluation des politiques de conduite autonome au sein de simulations en boucle fermée. Entraîné en milieu et en post-entraînement à partir du modèle de diffusion Cosmos sur 21k heures de scénarios de conduite, il génère de manière autoregressive des vidéos conditionnées par les actions en temps réel.
OmniDreams synthétise des phénomènes complexes tels que les conditions météorologiques extrêmes et les comportements imprévisibles des agents en conditionnant la génération de capteurs photoréalistes sur les images précédentes, l'état du simulateur et les actions de conduite. Il est déployé avec le modèle de politique Alpamayo 1 et l'orchestrateur AlpaSim pour fournir un environnement évolutif afin d'entraîner des politiques de nouvelle génération. Les résultats préliminaires montrent qu'un modèle monde-action post-entraîné à partir d'OmniDreams surpasse la politique de recherche Alpamayo 1.5 basée sur VLA sur le dataset Physical AI Autonomous Vehicles NuRec, tout en utilisant seulement 1/5 du nombre total de paramètres.
Ces résultats mettent en évidence le potentiel des modèles de monde en temps réel pour servir de squelettes efficaces aux architectures de politiques de conduite autonome.