A NVIDIA apresentou o OmniDreams, um modelo de mundo generativo fundamental projetado para resolver os gargalos na avaliação de políticas de direção autônoma dentro de simulações em loop fechado. Treinado intermediária e posteriormente a partir do modelo de difusão Cosmos com 21 mil horas de cenários de condução, ele gera vídeos condicionados por ações em tempo real de forma autoregressiva.
O OmniDreams sintetiza fenômenos complexos como clima extremo e comportamentos imprevisíveis de agentes, condicionando a geração de sensores fotorrealistas com base em quadros anteriores, estado do simulador e ações de condução. Ele é implantado junto ao modelo de política Alpamayo 1 e ao orquestrador AlpaSim para fornecer um ambiente escalável para o treinamento de políticas de próxima geração.
Resultados preliminares mostram que um modelo mundo-ação treinado posteriormente a partir do OmniDreams supera a política de pesquisa Alpamayo 1.5 baseada em VLA no conjunto de dados NuRec de Veículos Autônomos Physical AI, utilizando apenas 1/5 dos parâmetros totais.
Esses resultados destacam o potencial dos modelos de mundo em tempo real para atuar como espinhas dorsais eficazes nas arquiteturas de políticas de direção autônoma.