作者介绍了 RCT（Robotic Contact Tactile），这是一个旨在解决触觉表示在机器人操作中泛化到未见材料这一挑战的数据集。该数据集包含 29,279 个触觉帧，这些帧是在 122 种工业参考材料（分为七个类别）上通过完整的机器人按压收集的，并使用三个 DIGIT 传感器在多个接触位置进行记录。

  • RCT 将每次按压保留为接触序列，从而能够在材料、类别、传感器和接触位置上进行留出评估，以防止来自近重复观测的数据泄漏。
  • 当编码器保持固定时，去除接触序列重叠会使触觉到文本的 Recall@1 下降 17.7 个百分点。
  • 在训练时留出材料会导致性能急剧下降，在三次抽取中，留出材料的 Recall@1 平均为 25.1 +/- 6.1%。
  • 公开的 TVL/HCT 分割表现出类似的结构问题，其中原始像素最近邻在 98.3% 的情况下能恢复正确的序列。
  • 均匀采样一次按压可改善对比训练，且使用 RCT 训练的嵌入能提升对未见材料的类别探针性能。

该数据集已开源，旨在使接触序列感知的留出材料评估可复现，并将新材料泛化暴露为机器人触觉感知的核心挑战。