A Mistral AI lançou o Robostral Navigate, seu primeiro modelo projetado para navegação corporificada usando apenas uma câmera RGB. O modelo de 8B parâmetros aceita instruções em linguagem natural e entradas de imagem para guiar robôs por ambientes complexos como escritórios e cenários ao ar livre.
- Alcança 76,6% de sucesso na divisão não vista de validação do R2R-CE, superando os melhores sistemas de profundidade/múltiplas câmeras em 4,5 pontos.
- Usa um método de "apontamento" para prever coordenadas de imagem do alvo, recorrendo a deslocamentos métricos locais quando os alvos estão fora de campo.
- Treinado em ~400.000 trajetórias simuladas em 6.000 cenas usando prefix-caching, o que reduz os tokens de treinamento em 22×.
- Aplica reforço online CISPO após o treinamento supervisionado, adicionando uma melhoria de 3,2% na taxa de sucesso.
- Construído a partir do VLM de grounding interno da Mistral, e não de modelos de código aberto, suportando robôs com rodas, pernas e voadores.
O modelo permite navegação eficiente em diversas plataformas ao eliminar a necessidade de sensores de profundidade ou LiDAR, mantendo robustez às intrínsecas da câmera e a mudanças ambientais.