Исследователи предлагают NoContactNoWorries, основанную на трансформерах систему, которая выводит бинарные состояния контакта во время манипуляции в руке путем слияния RGB-D зрения с проприоцепцией робота. Этот подход служит масштабируемым псевдо-тактильным сигналом, избегая затрат и хрупкости, связанных с выделенными аппаратными тактильными датчиками.
- Модель использует трансформер для слияния визуальных данных и проприоцептивной информации для оценки бинарного контакта.
- Единая модель предсказания контакта обучается на множестве объектов для поддержки агентов последующего обучения с подкреплением.
- Выведенный сигнал контакта позволяет переориентировать объекты в руке и эффективно обобщается на новые объекты.
- Эксперименты, проведенные как в симуляции, так и на реальном роботе, подтверждают жизнеспособность этого подхода на основе зрения.
Этот метод демонстрирует, что роботы могут надежно выводить физический контакт через воплощенное восприятие, предлагая практическую альтернативу аппаратно-зависимому тактильному сенсорированию для задач ловкой манипуляции.