Los autores presentan CoorDex, una tubería de aprendizaje que permite la manipulación diestra de alto grado de libertad en humanoides móviles al convertir el control del cuerpo y la mano en un control residual latente coordinado. Este enfoque permite que el humanoide Unitree G1 realice tareas complejas como agarrar botellas sin parar y abrir puertas de refrigerador mientras se mueve.
- CoorDex entrena maestros de seguimiento de movimiento privilegiado a partir de demostraciones simuladas y los destila en sesgos latentes condicionados por propiocepción.
- Una política residual latente coordinada compone estos sesbos mediante un contexto de tarea compartido y cabezales residuales separados para cuerpo y mano.
- El sistema permite que el Unitree G1, equipado con una mano WUJI de 20-DoF, ejecute manipulación diestra sin detenerse.
- Las ablataciones muestran que el PPO en espacio articular, el control manual en espacio articular y la predicción latente monolítica fallan bajo el mismo presupuesto de recompensa.
El método hace entrenable la locomoción-manipulación rica en contacto de alta dimensión al preservar el movimiento natural del cuerpo entero mientras mejora la fiabilidad del contacto a nivel de los dedos.