Исследователи предлагают PhysMani, фреймворк, который связывает физически обоснованную 3D-Gaussian модель мира с политикой действий, учитывающей будущее, для решения задач манипулирования быстро движущимися целями в неструктурированных 3D-средах.
- Модель мира обучается на основе бездивергентного гауссова поля скоростей через онлайн-оптимизацию для физически обоснованного прогнозирования будущей динамики.
- Политика действий интегрирует прогнозируемую будущую динамику 3D-сцены через обучаемый модуль кросс-внимания на основе токенов.
- Авторы представляют PhysMani-Bench, динамический бенчмарк манипуляции, состоящий из 16 задач.
- PhysMani демонстрирует превосходный показатель успешности по сравнению с сильными базовыми моделями как в симуляциях, так и в экспериментах с реальными роботами.
Этот подход обеспечивает точную 3D-геометрию и физически осмысленное прогнозирование для систем воплощенного ИИ.