Runway推出了GWM Worlds 2，这是一个研究预览版，通过自回归扩散模型将高保真视频和音频生成转化为实时交互模拟。此次发布包含WorldPrompt，这是一种新的输入格式，允许用户通过固定环境方面并创建带时间戳的事件来指定生成的世界和动作。

  • WorldPrompt充当角色、相机和环境的控制层，实现对场景主体的详细控制，类似于电脑游戏。
  • GWM Worlds 2以实时方式流式传输每秒24帧的720p连续视频和48,000 Hz音频。
  • 该模型通过对基础音视频模型进行微调以适应WorldPrompt格式、后训练以自回归方式生成，并应用蒸馏方法来实现实时生成。
  • 联合创始人Anastasis Germanidis解释说，该过程将双向扩散转换为自回归系统，逐帧生成。

这种方法旨在实现完全自生成的实时游戏和体验，尽管目前的限制仅支持几分钟的连续交互，而非长时间运行。