NVIDIA推出了OmniDreams，这是一种基础生成式世界模型，旨在解决闭环仿真中评估自动驾驶策略时的瓶颈。该模型基于Cosmos扩散模型，在21k小时的驾驶场景上进行中期和后期训练，能够以自回归方式实时生成动作条件视频。

OmniDreams通过对过去帧、模拟器状态和驾驶动作进行条件约束，合成极端天气和不可预测的智能体行为等复杂现象，并生成逼真的传感器数据。它与Alpamayo 1策略模型和AlpaSim编排器配合部署，为训练下一代策略提供可扩展的环境。 初步结果表明，基于OmniDreams进行后期训练的世界-动作模型在Physical AI Autonomous Vehicles NuRec数据集上超越了基于VLA的Alpamayo 1.5研究策略，同时仅使用其1/5的参数总量。

这些发现突显了实时世界模型作为自动驾驶策略架构有效骨干的潜力。