Para penulis memperkenalkan RCT (Robotic Contact Tactile), sebuah dataset yang dirancang untuk mengatasi tantangan generalisasi representasi taktil ke bahan yang belum pernah dilihat dalam manipulasi robotik. Dataset ini berisi 29.279 frame taktil yang dikumpulkan dari tekanan penuh robot pada 122 bahan referensi industri di tujuh kategori, direkam menggunakan tiga sensor DIGIT di berbagai posisi kontak.
- RCT mempertahankan setiap tekanan sebagai urutan kontak, memungkinkan evaluasi hold-out lintas bahan, kategori, sensor, dan posisi kontak untuk mencegah kebocoran data dari pengamatan yang hampir duplikat.
- Menghapus tumpang tindih urutan kontak mengurangi Recall@1 taktil-ke-teks sebesar 17,7 poin persentase ketika encoder dijaga tetap.
- Kinerja turun tajam ketika bahan dihold-out pada saat pelatihan, dengan Recall@1 bahan hold-out rata-rata 25,1 +/- 6,1% atas tiga penarikan.
- Split TVL/HCT publik menunjukkan masalah struktur serupa, di mana tetangga terdekat piksel mentah memulihkan urutan yang benar dalam 98,3% kasus.
- Sampling tekanan secara seragam meningkatkan pelatihan kontrastif, dan embedding yang dilatih pada RCT meningkatkan probe kategori pada bahan yang belum pernah dilihat.
Dataset ini dibuka sumbernya agar evaluasi hold-out yang sadar urutan kontak dapat direproduksi dan untuk menyoroti generalisasi bahan baru sebagai tantangan utama bagi persepsi taktil robotik.