NVIDIA telah memperkenalkan OmniDreams, sebuah model dunia generatif dasar yang dirancang untuk mengatasi hambatan dalam mengevaluasi kebijakan pengemudi otonom di dalam simulasi loop tertutup. Model ini ditengah- dan pasca-pelatihan dari model difusi Cosmos pada 21k jam skenario berkendara, menghasilkan video secara autoregresif berdasarkan kondisi aksi secara waktu nyata.
OmniDreams mensintesis fenomena kompleks seperti cuaca ekstrem dan perilaku agen yang tidak terduga dengan mengondisikan generasi sensor fotorealistik pada frame sebelumnya, keadaan simulator, dan aksi berkendara. Model ini diimplementasikan bersama model kebijakan Alpamayo 1 dan orkestrator AlpaSim untuk menyediakan lingkungan yang skalabel bagi pelatihan kebijakan generasi berikutnya. Hasil awal menunjukkan bahwa model dunia-aksi yang dipasca-pelatihan dari OmniDreams melampaui kebijakan penelitian Alpamayo 1.5 berbasis VLA pada dataset Physical AI Autonomous Vehicles NuRec sambil menggunakan hanya 1/5 jumlah parameter total.
Temuan ini menyoroti potensi model dunia waktu nyata untuk berfungsi sebagai tulang punggung efektif bagi arsitektur kebijakan pengemudi otonom.