NVIDIA ha presentado OmniDreams, un modelo generativo de mundo base diseñado para abordar los cuellos de botella en la evaluación de políticas de conducción autónoma dentro de simulaciones de bucle cerrado. Entrenado y post-entrenado a partir del modelo de difusión Cosmos con 21k horas de escenarios de conducción, genera videos condicionados por acciones de forma autoregresiva en tiempo real.
OmniDreams sintetiza fenómenos complejos como clima extremo e impredecible comportamientos de agentes al condicionar la generación de sensores fotorrealistas sobre los fotogramas anteriores, el estado del simulador y las acciones de conducción. Se despliega junto con el modelo de políticas Alpamayo 1 y el orquestador AlpaSim para proporcionar un entorno escalable para entrenar políticas de próxima generación. Los resultados preliminares muestran que un modelo mundo-acción post-entrenado a partir de OmniDreams supera la política de investigación Alpamayo 1.5 basada en VLA en el conjunto de datos Physical AI Autonomous Vehicles NuRec, utilizando solo 1/5 de los parámetros totales.
Estos hallazgos destacan el potencial de los modelos de mundo en tiempo real para servir como estructuras básicas efectivas para las arquitecturas de políticas de conducción autónoma.