Mistral AI a publié Robostral Navigate, son premier modèle conçu pour la navigation incarnée en utilisant uniquement une caméra RGB. Le modèle de 8 milliards de paramètres accepte des instructions en langage naturel et des entrées image pour guider les robots à travers des environnements complexes tels que des bureaux et des espaces extérieurs.
- Atteint un taux de réussite de 76,6 % sur la partition non vue de validation R2R-CE, surpassant les meilleurs systèmes à profondeur/multi-caméras de 4,5 points.
- Utilise une méthode de « pointage » pour prédire les coordonnées cibles de l'image, en recourant à des déplacements métriques locaux lorsque les cibles sont hors du champ de vision.
- Entraîné sur ~400 000 trajectoires simulées dans 6 000 scènes grâce au préfix-caching, ce qui réduit le nombre de tokens d'entraînement par un facteur de 22.
- Applique l'apprentissage par renforcement en ligne CISPO après l'entraînement supervisé, apportant une amélioration de 3,2 % du taux de réussite.
- Construit à partir du VLM de grounding interne de Mistral plutôt que de modèles open-source, prenant en charge les robots à roues, à pattes et volants.
Le modèle permet une navigation efficace sur diverses plateformes en éliminant le besoin de capteurs de profondeur ou de LiDAR tout en maintenant la robustesse face aux intrinsèques de la caméra et aux changements environnementaux.