Para peneliti mengusulkan PhysMani, sebuah kerangka kerja yang menggabungkan model dunia Gaussian 3D berbasis fisika dengan model kebijakan aksi yang sadar masa depan untuk mengatasi tantangan dalam memanipulasi target bergerak cepat di lingkungan 3D yang tidak terstruktur.

  • Model dunia mempelajari bidang kecepatan Gaussian bebas divergensi melalui optimisasi online untuk prediksi dinamika masa depan yang berdasar secara fisik.
  • Model kebijakan mengintegrasikan dinamika masa depan adegan 3D yang diprediksi melalui modul cross-attention berbasis token yang dapat dipelajari.
  • Para penulis memperkenalkan PhysMani-Bench, sebuah benchmark manipulasi dinamis yang terdiri dari 16 tugas.
  • PhysMani menunjukkan tingkat keberhasilan yang unggul dibandingkan baseline kuat baik dalam simulasi maupun eksperimen robot dunia nyata.

Pendekatan ini memberikan geometri 3D yang akurat dan prakiraan yang bermakna secara fisik untuk sistem AI berwujud.