TAP : Pré-entraînement agnostique à la tâche pour les modèles Vision-Language-Action

Les chercheurs proposent le pré-entraînement agnostique à la tâche (TAP), un cadre en deux étapes conçu pour pallier la rareté des démonstrations d'experts dans les modèles Vision-Language-Action (VLA) en découplant la compétence physique de l'alignement sémantique. La méthode apprend d'abord des priors moteurs transférables à partir de données d'interaction non étiquetées via un objectif de dynamique inverse auto-supervisé, puis ancre ces priors dans le langage à l'aide d'un minimum de données expertes.

• TAP atteint les performances de modèles entraînés sur plus de 1M de trajectoires expertes tout en utilisant des ordres de grandeur moins de données étiquetées.
• L'approche offre un gain absolu de 10 % par rapport au clonage de comportement standard sur le benchmark SIMPLER.
• Sur une plateforme WidowX réelle, TAP conserve 25 % de succès sous perturbations caméra où les bases à l'échelle d'internet s'effondrent à 0 %.

Cela démontre que le pré-entraînement agnostique à la tâche produit des représentations physiques robustes et transférables, offrant une voie évolutive pour l'IA incarnée.