Los investigadores proponen NoContactNoWorries, un marco basado en transformadores que infiere estados de contacto binarios durante la manipulación en la mano fusionando visión RGB-D con propiocepción del robot. Este enfoque sirve como una señal pseudo-táctil escalable, evitando el costo y la fragilidad asociados con sensores táctiles de hardware dedicados.
- El modelo utiliza un transformador para fusionar datos visuales e información propioceptiva para la estimación de contacto binario.
- Se entrena un único modelo de predicción de contacto en múltiples objetos para apoyar agentes de aprendizaje por refuerzo posteriores.
- La señal de contacto inferida permite la reorientación de objetos en la mano y se generaliza eficazmente a objetos nuevos.
- Los experimentos realizados tanto en simulación como en un robot del mundo real validan la viabilidad de este enfoque basado en visión.
Este método demuestra que los robots pueden inferir de manera fiable el contacto físico a través de la percepción incorporada, ofreciendo una alternativa práctica al sensing táctil dependiente del hardware para tareas de manipulación diestra.