著者らは、ロボティクス操作において未見の素材への触覚表現の一般化という課題に対処するために設計されたデータセット RCT (Robotic Contact Tactile) を紹介する。このデータセットには、7つのカテゴリにわたる122種類の工業用基準素材に対する完全なロボット押圧から収集された29,279枚の触覚フレームが含まれており、複数の接触位置で3つのDIGITセンサーを使用して記録された。

  • RCTは各押圧を接触シーケンスとして保持し、材料、カテゴリ、センサー、および接触位置にわたるホールドアウト評価を可能にし、重複に近い観測からのデータリークを防ぐ。
  • 接触シーケンスの重複を除去すると、エンコーダーを固定した状態で触覚からテキストへのRecall@1が17.7パーセントポイント減少する。
  • 訓練時に素材をホールドアウトするとパフォーマンスが急激に低下し、3回のサンプリングにわたるホールドアウト素材のRecall@1は平均25.1 +/- 6.1%となる。
  • 公開されているTVL/HCT分割にも同様の構造的問題があり、生ピクセルの最近傍法が98.3%の場合で正しいシーケンスを回復する。
  • 押圧を一様にサンプリングすると対照的学習が改善され、RCTで訓練された埋め込みは未見素材のカテゴリプローブを向上させる。

このデータセットは、接触シーケンスを認識したホールドアウト素材評価を再現可能にし、ロボティクスの触覚知覚における新規素材の一般化を中心的な課題として浮き彫りにするためにオープンソース化されている。