NVIDIAは、メモリ制約のあるエッジシステムでデータセンターレベルのパフォーマンスを提供するために設計された40億パラメータのオープンワールドモデルであるCosmos 3 Edgeをリリースしました。このモデルにより、ロボットやビジョンAIエージェントは周囲の環境を理解し、リアルタイムで推論を行い、NVIDIA Jetsonモジュールなどのデバイス上で直接アクションを生成することが可能になります。

  • Cosmos 3 Edgeはロボット制御解像度（640×360）で動作し、1回の推論で32個のアクションを生成しながら、NVIDIA Jetson Thor上で15 Hzのリアルタイム制御を実現しています。
  • VANTAGE-Benchにおけるビジョン分析タスクで同規模モデル中最上位となり、ロボットポリシー学習において最先端の性能を達成しました。
  • 構造は推論用の自己回帰型タワーと予測用の拡散型タワーを組み合わせており、言語、動画、音声、アクションのトークンを整列させるためにマルチモーダル注意層を共有しています。
  • NVIDIAはまた、DROIDデータセットでポストトレーニングされたCosmos 3 Edge Policy (DROID)をリリースし、ピックアンドプレイスタスク向けにリファレンスチェックポイントとトレーニングスクリプトも提供しました。

このリリースにより、開発者はデバイス上のセンサーに近い場所でモデルを展開でき、オープンフレームワークを使用して特定の物理AIアプリケーション向けにモデルをカスタマイズおよび専門化することができます。