Авторы представляют CoorDex, конвейер обучения, который обеспечивает ловкую локомоно-манипуляцию с высокой степенью свободы на движущихся человекоподобных роботах путем преобразования управления телом и кистью в скоординированное латентное остаточное управление. Этот подход позволяет человекоподобному роботу Unitree G1 выполнять сложные задачи, такие как захват бутылки без остановки и открытие дверцы холодильника, находясь в движении.
- CoorDex обучает учителей отслеживания привилегированных движений на основе симулированных демонстраций и дистиллирует их в латентные априори, обусловленные проприоцепцией.
- Скоординированная латентная остаточная политика объединяет эти априори через общий контекст задачи и отдельные остаточные головы для тела и кисти.
- Система позволяет Unitree G1 с 20-свободной рукой WUJI выполнять ловкую манипуляцию без остановки.
- Аблиационные исследования показывают, что PPO в пространстве суставов, управление кистью в пространстве суставов и монолитное латентное предсказание не справляются при том же бюджете вознаграждения.
Метод делает обучаемой высокомерную локомоно-манипуляцию с богатыми контактами, сохраняя естественное движение всего тела и улучшая надежность контакта на уровне пальцев.