Runway는 오토레그ressive 확산 모델을 사용하여 고품질 비디오 및 오디오 생성을 실시간 상호작용 시뮬레이션으로 전환하는 연구용 미리보기인 GWM Worlds 2를 출시했습니다. 이번 릴리스에는 환경의 측면을 고정하고 시간 표시 이벤트(timestamped events)를 생성하여 생성된 세계와 동작을 지정할 수 있는 새로운 입력 형식인 WorldPrompt가 포함되어 있습니다.
- WorldPrompt는 캐릭터, 카메라 및 환경을 위한 제어 레이어로 작동하여 컴퓨터 게임과 유사하게 장면 주체에 대한 세밀한 제어를 가능하게 합니다.
- GWM Worlds 2는 실시간으로 초당 24프레임의 연속적인 720p 비디오와 48,000 Hz의 오디오를 스트리밍합니다.
- 이 모델은 기초 오디오-비디오 모델을 WorldPrompt 형식으로 파인튜닝하고, 오토레그ressive하게 생성하도록 사후 학습(post-training)하며, 증류(distillation) 방법을 적용하여 실시간 생성을 달성합니다.
- 공동 창업자 Anastasis Germanidis는 이 과정이 양방향 확산(bidirectional diffusion)을 프레임 단위로 하나씩 생성하는 오토레그ressive 시스템으로 변환한다고 설명했습니다.
이 접근 방식은 완전히 자체적으로 생성되는 실시간 게임과 경험을 가능하게 하는 것을 목표로 하지만, 현재 제한 사항으로는 몇 분간의 연속 상호작용만 지원하며 긴 시간의 지속은 지원하지 않습니다.