Авторы представляют RCT (Robotic Contact Tactile), набор данных, предназначенный для решения проблемы обобщения тактильных представлений на невидимые материалы при манипуляциях робота. Набор данных содержит 29 279 тактильных кадров, собранных при полном нажатии робота на 122 промышленных эталонных материала из семи категорий, записанных с помощью трех датчиков DIGIT в нескольких точках контакта.

  • RCT сохраняет каждое нажатие как последовательность контактов, что позволяет проводить оценку на отложенных материалах, категориях, датчиках и точках контакта для предотвращения утечки данных из-за почти дублирующих наблюдений.
  • Устранение перекрытия последовательностей контактов снижает тактильно-текстовый Recall@1 на 17,7 процентных пункта при фиксированном кодировщике.
  • Производительность резко падает, когда материалы исключаются из обучающей выборки; средний Recall@1 для отложенных материалов составляет 25,1 +/- 6,1% по трем выборкам.
  • Публичное разделение TVL/HCT демонстрирует аналогичные проблемы структуры: ближайшие соседи по сырым пикселям восстанавливают правильную последовательность в 98,3% случаев.
  • Равномерная выборка нажатия улучшает контрастивное обучение, а эмбеддинги, обученные на RCT, улучшают классификацию категорий на невидимых материалах.

Набор данных открыт для обеспечения воспроизводимости оценки с учетом последовательностей контактов и отложенных материалов, а также для выделения обобщения на новые материалы как центральной задачи тактильного восприятия роботов.