NVIDIA présente RoboTTT, un modèle fondamental pour la robotique et une recette d'entraînement qui étendent le contexte visuo-moteur à 8 000 pas de temps sans augmenter la latence d'inférence. En intégrant l'entraînement au moment du test (Test-Time Training) dans les politiques Vision-Language-Action, le système compresse l'historique dans l'espace des poids à l'aide de poids rapides mis à jour par descente de gradient.
- Permet l'imitation en contexte en un seul shot à partir de démonstrations vidéo humaines et l'amélioration en temps réel des politiques.
- Assure la robustesse aux perturbations et des performances supérieures sur des tâches multi-étapes et à long terme.
- Améliore les performances globales de 87 % par rapport aux lignes de base à contexte d'un seul pas de temps sur des tâches de manipulation robotique réelle.
- Complète intégralement une tâche d'assemblage de cinq minutes en dix étapes qu'aucune ligne de base n'a pu terminer.
- Surpasse les modèles pré-entraînés avec 1 000 pas de temps de 62 %, établissant la longueur du contexte comme un nouvel axe de mise à l'échelle.
Les auteurs considèrent cela important car cela débloque de nouvelles capacités pour les modèles fondamentaux robotiques et démontre des gains réguliers dans les performances en boucle fermée à mesure que la longueur du contexte d'entraînement préliminaire s'accroît.