Mistral AIは、単一のRGBカメラのみを使用した具現化ナビゲーション用に設計された初のモデルであるRobostral Navigateをリリースした。この8Bパラメータのモデルは、自然言語の指示と画像入力を接受し、オフィスや屋外の環境といった複雑な場面においてロボットを誘導する。

  • R2R-CE検証用未見分割で76.6%の成功率を達成し、最良の深度/マルチカメラシステムよりも4.5ポイント上回る。
  • 目標画像座標を予測するために「ポインティング」手法を使用し、目標が視野外にある場合は局所的な計測変位にフォールバックする。
  • プレフィックスキャッシングを使用して6,000のシーン全体で約400,000本のシミュレーション軌道でトレーニングされ、トレーニングトークンを22倍削減した。
  • 教師あり学習後にCISPOオンライン強化学習を適用し、成功率を3.2%向上させた。
  • オープンソースモデルではなくMistralの自社開発グラウンディングVLMから構築されており、車輪式、脚式、飛行ロボットの両方をサポートしている。

このモデルは、深度センサーやLiDARの必要性を排除しつつ、カメラの内部パラメータや環境変化に対する堅牢性を維持することで、多様なプラットフォームにわたる効率的なナビゲーションを可能にする。