Авторы представляют REGRIND, минималистичный конвейер обучения с подкреплением, основанный на ретаргетинге, который обучает политики ловкой манипуляции по одной демонстрации человека. Метод переносит движение руки человека и объекта на эталоны робота, сохраняя пространственные и контактные отношения, а затем обучает остаточную политику RL в симуляции для отслеживания ключевых точек, связанных с объектом.
- REGRIND переносит полученную политику нулевым шагом на оборудование с помощью тщательной идентификации системы.
- Политики демонстрируют плавное, похожее на человеческое поведение на двух различных многопальцевых манипуляторах в задачах использования инструментов с богатыми контактами.
- Работа включает работу ножницами и откручивание отвертки, а также систематические аппаратные эксперименты по анализу факторов переноса из симуляции в реальность.
Авторы предлагают практические рекомендации для обучения на основе ретаргетинга в условиях богатых контактов, выявляя ключевые факторы, определяющие успешный перенос из симуляции в реальность.