TAP: Pra-pelatihan Agnostik-Tugas untuk model Vision-Language-Action

Peneliti mengusulkan Pra-pelatihan Agnostik-Tugas (TAP), sebuah kerangka kerja dua tahap yang dirancang untuk mengatasi kelangkaan demonstrasi ahli dalam model Vision-Language-Action (VLA) dengan memisahkan kompetensi fisik dari keselarasan semantik. Metode ini pertama-tama mempelajari prior motoris yang dapat ditransfer dari data interaksi tanpa label melalui tujuan Dinamika Terbalik swa-pengawasan, lalu mengikat prior tersebut ke bahasa menggunakan data ahli minimal.

• TAP mencapai kinerja model yang dilatih pada lebih dari 1M lintasan ahli sambil menggunakan data berlabel beberapa orde magnitudo lebih sedikit.
• Pendekatan ini menghasilkan peningkatan absolut 10% dibandingkan kloning perilaku standar pada benchmark SIMPLER.
• Pada platform WidowX dunia nyata, TAP mempertahankan keberhasilan 25% di bawah gangguan kamera di mana basis skala internet runtuh menjadi 0%.

Ini menunjukkan bahwa pra-pelatihan agnostik-tugas menghasilkan representasi fisik yang robust dan dapat ditransfer, serta menawarkan jalur yang skalabel untuk AI Berbadan.