Runway a introduit GWM Worlds 2, un aperçu de recherche qui transforme la génération vidéo et audio haute fidélité en simulation interactive en temps réel à l'aide d'un modèle de diffusion autoregressif. La version inclut WorldPrompt, un nouveau format d'entrée permettant aux utilisateurs de spécifier les mondes générés et les actions en fixant certains aspects de l'environnement et en créant des événements horodatés.
- WorldPrompt agit comme une couche de contrôle pour les personnages, les caméras et les environnements, offrant un contrôle détaillé sur les sujets de la scène, similaire aux jeux vidéo.
- GWM Worlds 2 diffuse en continu une vidéo 720p à 24 images par seconde et un audio à 48 000 Hz en temps réel.
- Le modèle atteint la génération en temps réel en affinant un modèle audio-vidéo fondamental selon le format WorldPrompt, en l'entraînant postérieurement pour générer de manière autoregressive, et en appliquant des méthodes de distillation.
- Le cofondateur Anastasis Germanidis a expliqué que le processus convertit la diffusion bidirectionnelle en un système autoregressif pour générer les images une par une.
Cette approche vise à permettre des jeux et expériences entièrement auto-générés en temps réel, bien que les limitations actuelles incluent le support de seulement quelques minutes d'interaction continue plutôt que des heures prolongées.