Runway ha presentado GWM Worlds 2, una vista previa de investigación que transforma la generación de video y audio de alta fidelidad en simulación interactiva en tiempo real mediante un modelo de difusión autoregresivo. El lanzamiento incluye WorldPrompt, un nuevo formato de entrada que permite a los usuarios especificar mundos y acciones generados al fijar aspectos del entorno y crear eventos con marcas de tiempo.
- WorldPrompt actúa como una capa de control para personajes, cámaras y entornos, permitiendo un control detallado sobre los sujetos de la escena similar al de los videojuegos.
- GWM Worlds 2 transmite video continuo en 720p a 24 cuadros por segundo y audio a 48.000 Hz en tiempo real.
- El modelo logra la generación en tiempo real ajustando un modelo base de audio y video al formato WorldPrompt, entrenándolo posteriormente para generar de forma autoregresiva y aplicando métodos de destilación.
- El cofundador Anastasis Germanidis explicó que el proceso convierte la difusión bidireccional en un sistema autoregresivo para generar cuadros uno por uno.
Este enfoque tiene como objetivo habilitar juegos y experiencias completamente auto-generados en tiempo real, aunque las limitaciones actuales incluyen el soporte de solo unos pocos minutos de interacción continua en lugar de horas extendidas.