研究人员提出了PhysMani，这是一个将基于物理原理的3D高斯世界模型与面向未来的动作策略模型相结合的框架，旨在解决在非结构化3D环境中操纵快速移动目标所面临的挑战。

  • 世界模型通过在线优化学习无散度高斯速度场，以实现基于物理的未来动力学预测。
  • 策略模型通过可学习的基于token的交叉注意力模块整合预测的3D场景未来动力学。
  • 作者引入了PhysMani-Bench，一个包含16个任务的动态操作基准测试。
  • PhysMani在仿真和真实世界机器人实验中均表现出优于强基线的成功率。

该方法为具身AI系统提供了准确的3D几何结构和具有物理意义的预测。