NVIDIAは、クローズドループシミュレーションにおける自動運転ポリシーの評価におけるボトルネックに対処するために設計された基盤生成型世界モデル「OmniDreams」を発表した。Cosmos拡散モデルを21,000時間の運転シナリオでミッドトレーニングおよびポストトレーニングし、リアルタイムでアクション条件付きの動画を自己回帰的に生成する。

OmniDreamsは、過去フレーム、シミュレータの状態、運転アクションに条件付けされた写実的なセンサー生成を通じて、極端な天候や予測不可能なエージェントの振る舞いといった複雑な現象を合成する。これはAlpamayo 1ポリシーモデルおよびAlpaSimオーケストレーターと組み合わせてデプロイされ、次世代ポリシーのトレーニングのためのスケーラブルな環境を提供する。

初期結果では、OmniDreamsからポストトレーニングされた世界アクションモデルが、総パラメータ数のわずか1/5しか使用せずに、Physical AI Autonomous Vehicles NuRecデータセットにおいてVLAベースのAlpamayo 1.5研究ポリシーを上回ることが示された。

これらの知見は、リアルタイム世界モデルが自動運転ポリシーアーキテクチャの有効なバックボーンとして機能する可能性を浮き彫りにしている。