NVIDIAは、Cosmos-H-Surgical-Simulatorの能力を因果的な学生モデルに凝縮した、手術用ロボティクス向けのリアルタイムかつ行動条件付きの生成シミュレーターであるCosmos-H-Dreamsを発表しました。NVIDIAのFlashDreams加速ストリーミング推論ライブラリを通じて提供され、このシステムは閉ループ内での人間または学習されたポリシーによるインタラクティブな制御を可能にします。

  • このモデルはNVIDIA Cosmos-Predict2.5-2Bを基盤として構築され、Open-H-Embodimentデータセットでポストトレーニングされており、da Vinci Research Kit (dVRK)の卓上縫合に特化しています。
  • 手術ダイナミクスを維持しつつ生成コストを削減するため、教師から学生への学習パイプラインと自己強制蒸留を使用しています。
  • FlashDreamsの最適化により、単一のNVIDIA RTX PRO 6000 GPU上で推論速度が秒あたり約10フレームから約160フレームに向上しました。
  • このシステムはVersius手術用コントローラーとの統合をサポートし、人間と機械の相互作用のためにブラウザおよびMeta Questクライアントを提供します。

Cosmos-H-Dreamsは、希少なロボティクスハードウェアに実験を縛り付けることなく、手術ポリシーの実践、探索、データ生成、評価を行うための環境を作成します。