Los autores presentan RCT (Robotic Contact Tactile), un conjunto de datos diseñado para abordar el desafío de que las representaciones táctiles se generalicen a materiales no vistos en la manipulación robótica. El conjunto de datos contiene 29,279 fotogramas táctiles recopilados a partir de presiones completas del robot sobre 122 materiales de referencia industrial en siete categorías, grabadas utilizando tres sensores DIGIT en múltiples posiciones de contacto.
- RCT conserva cada presión como una secuencia de contacto, lo que permite una evaluación con datos retenidos entre materiales, categorías, sensores y posiciones de contacto para evitar la filtración de datos a partir de observaciones casi duplicadas.
- La eliminación de la superposición en las secuencias de contacto reduce el Recall@1 táctil-a-texto en 17.7 puntos porcentuales cuando el codificador se mantiene fijo.
- El rendimiento cae bruscamente cuando los materiales se retienen durante el entrenamiento, con un Recall@1 para materiales retenidos que promedia 25.1 +/- 6.1% sobre tres muestreos.
- La división TVL/HCT pública exhibe problemas de estructura similares, donde los vecinos más cercanos de píxeles sin procesar recuperan la secuencia correcta en el 98.3% de los casos.
- Muestrear uniformemente una presión mejora el entrenamiento contrastivo, y las incrustaciones entrenadas con RCT mejoran las sondas de categoría en materiales no vistos.
El conjunto de datos se publica como código abierto para hacer reproducible la evaluación con secuencias de contacto conscientes y materiales retenidos, y para exponer la generalización a nuevos materiales como un desafío central para la percepción táctil robótica.