연구자들은 시각적 표현, 의미적 추론, 물리 기반 실행을 분리하여 자율 주행용 포토레알리스틱 코너 케이스를 합성하는 모듈식 파이프라인인 CARLA-GS를 제안했습니다. 이 시스템은 실제 주행 데이터로부터 편집 가능한 가우시안 장면을 재구성하고, 다중 에이전트 LLM을 사용하여 위험한 상호작용을 식별하며 의도 수준의 웨이포인트를 생성하고, PID 컨트롤러가 있는 CARLA에 저수준 운동 제어를 위임합니다.

  • 실제 주행 데이터에서 기하학적 일관성 제약 조건이 있는 편집 가능한 가우시안 장면을 재구성합니다.
  • 장면 수준 추론을 위해 다중 에이전트 LLM을 사용하여 위험을 감지하고 웨이포인트 궤적을 생성합니다.
  • CARLA와 PID 컨트롤러를 사용하여 차량 운동의 운동학적 및 동역학적 타당성을 보장합니다.
  • 시뮬레이션된 차량 상태를 가우시안 장면에 재투영하여 자기 중심 렌더링을 수행합니다.

Waymo Open Dataset에 대한 실험 결과, 이 프레임워크가 의미적 의도와 물리적 제약 조건과 일치하는 제어 가능한 포토레알리스틱하고 시공간적으로 일관된 비디오 생성을 가능하게 함이 입증되었습니다.