NVIDIAは、ロボットやビジョンAIエージェント向けにデバイス上で実行できるように設計された40億パラメータのオープンワールドモデル「Cosmos 3 Edge」をリリースした。7月20日にHugging Faceで公開され、クラウドへの依存なしで、システムが周囲を理解し、リアルタイムで推論を行い、ロボットアクションをローカルで生成することを可能にする。

  • このモデルは、推論用の自己回帰型タワーと生成用の拡散型タワーを持ち、マルチモーダル注意層を共有するMixture-of-Transformersアーキテクチャを採用している。
  • 多様な身体表現を共通のアクション表現にマッピングし、カメラモーション、自律走行車、片腕ロボット、両腕ロボット、ヒューマノイドロボットをサポートする。
  • NVIDIA Jetson Thor上では、640×360解像度で15Hzのリアルタイム制御を実現し、1回の推論で32個のアクションを生成する。
  • NVIDIAはまた、DROIDデータセットを用いたピックアンドプレイスタスク用のポストトレーニング済みポリシーであるCosmos 3 Edge Policy (DROID)もリリースした。
  • このモデルは、NVIDIA RTX PRO GPU、DGX、GeForce RTX、およびT2000やT3000などのJetsonモジュールへのデプロイメントをサポートする。

このリリースは、メモリ制約のあるエッジシステムでデータセンターレベルのパフォーマンスを実現する必要性に対応し、開発者が特定の身体表現向けにモデルをポストトレーニングすることを約1日で可能にする。