Runwayは、自己回帰型拡散モデルを用いて高忠実度の動画・音声生成をリアルタイムのインタラクティブシミュレーションに変換する研究プレビュー「GWM Worlds 2」を発表した。今回のリリースでは、ユーザーが環境の側面を固定し、タイムスタンプ付きのイベントを作成することで生成される世界やアクションを指定できる新しい入力形式「WorldPrompt」が特徴として含まれている。

  • WorldPromptはキャラクター、カメラ、環境に対する制御層として機能し、コンピュータゲームと同様にシーン内の被写体に対して詳細な制御を可能にする。
  • GWM Worlds 2は、リアルタイムで720pの動画を1秒あたり24フレーム、音声を48,000 Hzでストリーミングする。
  • このモデルは、基盤となる音声・動画モデルをWorldPrompt形式にファインチューニングし、自己回帰的に生成するようにポストトレーニングを施し、蒸留手法を適用することでリアルタイム生成を実現している。
  • 共同創業者のAnastasis Germanidis氏は、このプロセスが双方向拡散を自己回帰システムに変換し、フレームを1つずつ生成すると説明した。

このアプローチは完全に自己生成されるリアルタイムゲームや体験の実現を目指しているが、現在の制限事項として、長時間にわたる操作ではなく数分間の連続したインタラクションのみをサポートしている点が挙げられる。