Mistral AI выпустила Robostral Navigate, свою первую модель, предназначенную для воплощённой навигации с использованием только одной RGB-камеры. Модель с 8B параметров принимает инструкции на естественном языке и изображения для управления роботами в сложных условиях, таких как офисы и открытые пространства.
- Достигает успеха в 76,6% на невидимом разделе валидации R2R-CE, превосходя лучшие системы с глубиной/многокамерные на 4,5 пункта.
- Использует метод «указывания» для предсказания целевых координат изображения, переходя к локальным метрическим смещениям, когда цели выходят из поля зрения.
- Обучена на ~400 000 симулированных траекторий по 6 000 сцен с использованием prefix-caching, что сокращает количество токенов обучения в 22 раза.
- Применяет онлайн обучение с подкреплением CISPO после супервизированного обучения, добавляя улучшение успеха на 3,2%.
- Создана на основе внутренней VLM заземления Mistral, а не открытых моделей, поддерживая колёсных, шагающих и летающих роботов.
Модель обеспечивает эффективную навигацию по различным платформам, устраняя необходимость в датчиках глубины или LiDAR, сохраняя при этом устойчивость к внутренним параметрам камеры и изменениям окружающей среды.