Runway telah memperkenalkan GWM Worlds 2, sebuah pratinjau penelitian yang mengubah generasi video dan audio berketepatan tinggi menjadi simulasi interaktif waktu nyata menggunakan model difusi autoregresif. Rilis ini menampilkan WorldPrompt, format input baru yang memungkinkan pengguna menentukan dunia dan aksi yang dihasilkan dengan memperbaiki aspek lingkungan serta membuat peristiwa berbasis timestamp.
- WorldPrompt bertindak sebagai lapisan kendali untuk karakter, kamera, dan lingkungan, memungkinkan kendali rinci atas subjek adegan mirip permainan komputer.
- GWM Worlds 2 meng-streaming video 720p berkelanjutan pada 24 frame per detik dan audio pada 48.000 Hz secara waktu nyata.
- Model ini mencapai generasi waktu nyata dengan melakukan fine-tuning pada model audio-video dasar ke format WorldPrompt, melatihnya pasca-pelatihan untuk menghasilkan secara autoregresif, serta menerapkan metode distilasi.
- Co-founder Anastasis Germanidis menjelaskan bahwa proses ini mengubah difusi dua arah menjadi sistem autoregresif untuk menghasilkan frame satu per satu.
Pendekatan ini bertujuan memungkinkan permainan dan pengalaman yang sepenuhnya dihasilkan sendiri secara waktu nyata, meskipun keterbatasan saat ini mencakup dukungan hanya untuk beberapa menit interaksi berkelanjutan alih-alih berjam-jam.