NVIDIA представила OmniDreams, базовую генеративную модель мира, предназначенную для устранения узких мест при оценке политик автономного вождения в замкнутых циклах симуляций. Обученная на 21 тысяче часов сценариев вождения после промежуточного и финального этапов на основе модели диффузии Cosmos, она авторегрессионно генерирует видео, обусловленные действиями, в реальном времени.
OmniDreams синтезирует сложные явления, такие как экстремальные погодные условия и непредсказуемое поведение агентов, обуславливая фотореалистичную генерацию сенсоров на основе предыдущих кадров, состояния симулятора и действий при вождении. Она развернута вместе с моделью политики Alpamayo 1 и оркестратором AlpaSim для обеспечения масштабируемой среды для обучения политик следующего поколения.
Предварительные результаты показывают, что модель мира-действия, дообученная на основе OmniDreams, превосходит исследовательскую политику Alpamayo 1.5 на базе VLA в наборе данных Physical AI Autonomous Vehicles NuRec, используя лишь 1/5 от общего числа параметров.
Эти выводы подчеркивают потенциал моделей мира в реальном времени служить эффективными базовыми компонентами архитектур политик автономного вождения.