A Runway lançou o GWM Worlds 2, uma prévia de pesquisa que transforma a geração de vídeo e áudio de alta fidelidade em simulação interativa em tempo real por meio de um modelo de difusão autoregressivo. O lançamento inclui o WorldPrompt, um novo formato de entrada que permite aos usuários especificar mundos e ações gerados ao fixar aspectos do ambiente e criar eventos com carimbos de data e hora.

  • O WorldPrompt atua como uma camada de controle para personagens, câmeras e ambientes, permitindo controle detalhado sobre os elementos da cena, semelhante a jogos de computador.
  • O GWM Worlds 2 transmite vídeo contínuo em 720p a 24 quadros por segundo e áudio a 48.000 Hz em tempo real.
  • O modelo alcança geração em tempo real ajustando um modelo fundamental de áudio e vídeo para o formato WorldPrompt, realizando pós-treinamento para gerar de forma autoregressiva e aplicando métodos de destilação.
  • O co-fundador Anastasis Germanidis explicou que o processo converte a difusão bidirecional em um sistema autoregressivo para gerar quadros um por um.

Essa abordagem visa permitir jogos e experiências totalmente auto-generados e em tempo real, embora as limitações atuais incluam suporte apenas para alguns minutos de interação contínua, em vez de horas prolongadas.