Runway представила GWM Worlds 2, исследовательский превью-релиз, который преобразует высокоточную генерацию видео и аудио в интерактивную симуляцию в реальном времени с помощью авторегрессионной диффузионной модели. В релизе представлен WorldPrompt — новый формат ввода, позволяющий пользователям задавать параметры генерируемых миров и действий, фиксируя аспекты окружения и создавая события с временными метками.

  • WorldPrompt действует как слой управления для персонажей, камер и окружения, обеспечивая детальный контроль над объектами сцены, аналогичный компьютерным играм.
  • GWM Worlds 2 транслирует непрерывное видео в разрешении 720p со скоростью 24 кадра в секунду и аудио с частотой дискретизации 48 000 Гц в реальном времени.
  • Модель достигает генерации в реальном времени за счёт дообучения базовой аудио-видео модели формату WorldPrompt, последующего обучения для авторегрессионной генерации и применения методов дистилляции.
  • Сооснователь Анастасис Германидис объяснил, что процесс преобразует двунаправленную диффузию в авторегрессионную систему для генерации кадров по одному.

Этот подход направлен на создание полностью самогенерируемых игр и интерактивных сценариев в реальном времени, хотя текущие ограничения включают поддержку лишь нескольких минут непрерывного взаимодействия вместо продолжительных часов.