NVIDIA는 Cosmos-H-Surgical-Simulator의 기능을 인과적 학생 모델로 압축한 외과 로봇용 실시간 액션 조건부 생성 시뮬레이터인 Cosmos-H-Dreams를 출시했습니다. NVIDIA의 FlashDreams 가속 스트리밍 추론 라이브러리를 통해 제공되는 이 시스템은 폐쇄 루프 내에서 사람이나 학습된 정책이 상호작용할 수 있는 제어를 가능하게 합니다.

  • 이 모델은 NVIDIA Cosmos-Predict2.5-2B을 기반으로 구축되었으며, Open-H-Embodiment 데이터셋에서 사후 훈련되어 da Vinci Research Kit(dVRK) 탁상형 봉합에 특화되었습니다.
  • 수술 역학을 보존하면서 생성 비용을 줄이기 위해 자기 강제 증류(self-forcing distillation)를 사용한 교사-학생 학습 파이프라인을 사용합니다.
  • FlashDreams 최적화를 통해 단일 NVIDIA RTX PRO 6000 GPU에서 초당 약 10프레임의 추론 속도를 약 160프레임으로 끌어올렸습니다.
  • 이 시스템은 Versius 외과용 컨트롤러와의 통합을 지원하며, 인간-기계 상호작용을 위한 브라우저 및 Meta Quest 클라이언트를 제공합니다.

Cosmos-H-Dreams는 희소한 로봇 하드웨어에 실험을 묶지 않고도 수술 정책을 연습하고 탐색하며 데이터를 생성하고 평가할 수 있는 환경을 조성합니다.