Mistral AI는 단일 RGB 카메라만으로 구현형 내비게이션을 위해 설계된 첫 번째 모델인 Robostral Navigate를 출시했습니다. 이 8B 파라미터 모델은 일반 언어 지시와 이미지 입력을 받아 사무실 및 야외 환경과 같은 복잡한 공간을 로봇이 이동하도록 안내합니다.

  • R2R-CE 검증 비공개 분할에서 76.6%의 성공률을 달성하여 최고 성능의 깊이/다중 카메라 시스템보다 4.5포인트 앞섭니다.
  • 대상 이미지 좌표를 예측하기 위해 "포인팅" 방식을 사용하며, 대상이 시야 밖일 경우 지역 측정 변위로 대체합니다.
  • 접두어 캐싱(prefix-caching)을 사용하여 6,000개 장면에서 약 400,000개의 시뮬레이션 트래젝토리로 학습했으며, 이로 인해 학습 토큰이 22배 감소했습니다.
  • 지도학습 후 CISPO 온라인 강화학습을 적용하여 성공률을 3.2% 향상시켰습니다.
  • 오픈소스 모델 대신 Mistral의 자체 개발 그라운딩 VLM을 기반으로 구축되었으며, 바퀴형, 보행형 및 비행 로봇을 지원합니다.

이 모델은 깊이 센서나 LiDAR의 필요성을 제거하면서도 카메라 내부 파라미터와 환경 변화에 대한 견고성을 유지하여 다양한 플랫폼에서 효율적인 내비게이션을 가능하게 합니다.