Mistral AI 发布了 Robostral Navigate，这是其首款专为仅使用单个 RGB 相机进行具身导航而设计的模型。该 8B 参数模型接受自然语言指令和图像输入，以引导机器人在办公室和户外等复杂环境中移动。

  • 在 R2R-CE 验证未见分割集上取得 76.6% 的成功率，比最佳深度/多相机系统高出 4.5 个百分点。
  • 使用“指向”方法预测目标图像坐标，当目标超出视野时回退到局部度量位移。
  • 使用前缀缓存技术在 6,000 个场景的约 400,000 条模拟轨迹上进行训练，将训练 token 数减少 22 倍。
  • 在监督训练后应用 CISPO 在线强化学习，使成功率提高 3.2%。
  • 基于 Mistral 自研的接地 VLM 构建，而非开源模型，支持轮式、足式和飞行机器人。

该模型通过消除对深度传感器或 LiDAR 的需求，同时保持对相机内参和环境变化的鲁棒性，实现了跨多种平台的高效导航。