Pollen Robotics a publié Grabette, un dispositif portable open-source conçu pour enregistrer des données de manipulation robotique du monde réel sans nécessiter de robot ou de rig de téléopération. Le système utilise une caméra grand angle et une caméra de profondeur RGBD pour capturer des trajectoires 6-DoF, permettant aux utilisateurs de générer des ensembles de données propres qui peuvent être traités via un tableau de bord basé sur un navigateur et partagés sur le Hub Hugging Face.
L'appareil est construit à partir de composants standards disponibles dans le commerce, notamment un Raspberry Pi, une caméra Pi et une caméra de profondeur OAK-D, garantissant qu'il soit peu coûteux et reproductible. Les données sont stockées sous forme de poses cartésiennes 6-DoF locales à la caméra et d'états du préhenseur, avec une sortie au format d'ensemble de données LeRobot pour assurer la compatibilité avec diverses méthodes d'apprentissage. La publication inclut un exemple de pipeline démontrant comment entraîner des politiques sur des démonstrations enregistrées.
L'objectif est de réduire les barrières à l'entrée pour l'apprentissage robotique en permettant à quiconque de contribuer à un grand ensemble de données collaboratif de manipulation. En rendant la collecte de données aussi simple que l'enregistrement d'une vidéo, Pollen Robotics vise à résoudre le problème de l'approvisionnement en données du monde réel diversifiées qui entrave actuellement le domaine.