Mistral AI ha lanzado Robostral Navigate, su primer modelo diseñado para la navegación corporificada utilizando únicamente una cámara RGB. El modelo de 8B parámetros acepta instrucciones en lenguaje natural y entradas de imagen para guiar a los robots a través de entornos complejos como oficinas y configuraciones al aire libre.
- Logra un 76,6 % de éxito en la división no vista de validación de R2R-CE, superando a los mejores sistemas de profundidad/múltiples cámaras por 4,5 puntos.
- Utiliza un método de "apuntado" para predecir las coordenadas de imagen del objetivo, recurriendo a desplazamientos métricos locales cuando los objetivos están fuera de campo.
- Entrenado con ~400.000 trayectorias simuladas en 6.000 escenas utilizando prefijo-caching, lo que reduce los tokens de entrenamiento por un factor de 22×.
- Aplica CISPO aprendizaje por refuerzo en línea después del entrenamiento supervisado, añadiendo una mejora del 3,2 % en la tasa de éxito.
- Construido a partir del VLM de fundamentación propio de Mistral en lugar de modelos de código abierto, compatible con robots con ruedas, patas y voladores.
El modelo permite una navegación eficiente en diversas plataformas al eliminar la necesidad de sensores de profundidad o LiDAR mientras mantiene la robustez ante cambios en los intrínsecos de la cámara y el entorno.