저자들은 로봇 조작에서 보지 못한 소재로의 촉각 표현 일반화라는 과제를 해결하기 위해 설계된 데이터셋 RCT(Robotic Contact Tactile)를 소개합니다. 이 데이터셋은 7개 카테고리에 걸쳐 있는 122개의 산업용 기준 소재에 대한 완전한 로봇 누름에서 수집된 29,279개의 촉각 프레임과 여러 접촉 위치에서 3개의 DIGIT 센서를 사용하여 기록된 데이터를 포함합니다.

  • RCT는 각 누름을 접촉 시퀀스로 보존하여 소재, 카테고리, 센서 및 접촉 위치에 걸쳐 홀드아웃 평가를 가능하게 하며, 유사 중복 관측으로 인한 데이터 유출을 방지합니다.
  • 인코더를 고정할 때 접촉 시퀀스 중첩을 제거하면 촉각에서 텍스트로의 Recall@1이 17.7 퍼센트 포인트 감소합니다.
  • 훈련 시간 동안 소재를 홀드아웃하면 성능이 급격히 떨어지며, 세 번의 추출에 걸쳐 홀드아웃 소재 Recall@1은 평균 25.1 +/- 6.1%입니다.
  • 공개된 TVL/HCT 분할도 유사한 구조적 문제를 보여주며, 원시 픽셀 최근접 이웃이 98.3%의 경우에서 올바른 시퀀스를 복원합니다.
  • 누름을 균일하게 샘플링하면 대비 학습이 개선되고, RCT로 훈련된 임베딩은 보지 못한 소재에 대한 카테고리 프로브를 향상시킵니다.

이 데이터셋은 접촉 시퀀스 인식 홀드아웃 소재 평가를 재현 가능하게 하고 로봇 촉각 지각의 핵심 과제인 신규 소재 일반화를 드러내기 위해 오픈소스로 공개되었습니다.