NVIDIA는 폐쇄 루프 시뮬레이션 내에서 자율 주행 정책의 평가 병목 현상을 해결하기 위해 설계된 파운데이션 생성형 월드 모델인 OmniDreams를 소개했습니다. 21,000시간의 주행 시나리오로 Cosmos 확산 모델을 중기 및 후기 학습한 이 모델은 실시간으로 행동 조건부 동영상을 자기회귀적으로 생성합니다.

OmniDreams는 과거 프레임, 시뮬레이터 상태 및 주행 동작에 기반하여 사진과 같은 현실적인 센서 생성을 조건화함으로써 극한 기상 조건과 예측 불가능한 에이전트 행동과 같은 복잡한 현상을 합성합니다. 이는 차세대 정책 학습을 위한 확장 가능한 환경을 제공하기 위해 Alpamayo 1 정책 모델 및 AlpaSim 오케스트레이터와 함께 배포됩니다.

초기 결과에 따르면, OmniDreams에서 후기 학습된 월드-액션 모델은 총 파라미터의 1/5만 사용하면서도 Physical AI Autonomous Vehicles NuRec 데이터셋에서 VLA 기반 Alpamayo 1.5 연구 정책보다 우수한 성능을 보였습니다.

이러한 발견은 실시간 월드 모델이 자율 주행 정책 아키텍처를 위한 효과적인 백본으로 기능할 잠재력을 강조합니다.