Les auteurs présentent RCT (Robotic Contact Tactile), un jeu de données conçu pour relever le défi de la généralisation des représentations tactiles à des matériaux non vus lors de la manipulation robotique. Le jeu de données contient 29 279 trames tactiles collectées à partir de pressions complètes du robot sur 122 matériaux de référence industriels répartis en sept catégories, enregistrées à l'aide de trois capteurs DIGIT à plusieurs positions de contact.
- RCT conserve chaque pression sous forme de séquence de contact, permettant une évaluation par hold-out sur les matériaux, les catégories, les capteurs et les positions de contact afin d'éviter les fuites de données dues aux observations quasi-dupliquées.
- La suppression du chevauchement des séquences de contact réduit le Recall@1 tactile-vers-texte de 17,7 points de pourcentage lorsque l'encodeur est maintenu fixe.
- Les performances chutent fortement lorsque les matériaux sont exclus lors de l'entraînement, le Recall@1 sur les matériaux exclus atteignant en moyenne 25,1 +/- 6,1 % sur trois tirages.
- La division TVL/HCT publique présente des problèmes de structure similaires, où les plus proches voisins de pixels bruts retrouvent la séquence correcte dans 98,3 % des cas.
- L'échantillonnage uniforme d'une pression améliore l'entraînement contrastif, et les embeddings entraînés sur RCT améliorent les sondes de catégorie sur des matériaux non vus.
Le jeu de données est open-sourcé pour rendre reproductible l'évaluation par hold-out sensible aux séquences de contact et pour exposer la généralisation à de nouveaux matériaux comme un défi central pour la perception tactile robotique.